5月發(fā)布的AlphaFold3有論文、沒代碼,讓許多機構(gòu)和團隊紛紛開啟了「復(fù)現(xiàn)AF3」的工作。率先做出成果的,是一家成立不到一年的初創(chuàng)Ligo,3位創(chuàng)始人全都是牛津大學的本科生。
谷歌DeepMind5月發(fā)布的AlphaFold3同時席卷了生物界和計算機科學界,被認為是「有諾獎潛力的成果」。
成就如此卓著、意義如此重大,AF3的成果公開自然讓眾多科學家翹首以盼。
然而,DeepMind團隊卻潑下了一盆巨大的冷水。他們只放出了論文,并沒有公布任何相關(guān)的代碼或模型權(quán)重。
AlphaFold是一項千載難逢的突破,對生物科學產(chǎn)生了巨大影響。我認為它的作者最終會獲得諾貝爾獎,因為他們解決了一個70多年來一直無法破解的巨大問題。我基本上每天都在工作中使用它,指導(dǎo)藥物發(fā)現(xiàn)和實驗上有用的HBV聚合酶的工程設(shè)計。
最新版本的AlphaFold3比以前更強大。它已經(jīng)在我的實驗室中揭示了HBV RNA最初如何與聚合酶結(jié)合的結(jié)構(gòu)。不幸的是,他們更改了此版本的使用許可,限制了其用于藥物發(fā)現(xiàn)。
如今剛剛過去不到4個月,初創(chuàng)公司Ligo宣布——他們已經(jīng)完成了AlphaFold3開源復(fù)現(xiàn)的工作。
這個成果相當激動人心,也得到了Figure創(chuàng)始人Brett Adcock的轉(zhuǎn)發(fā)。
Ligo團隊表示,他們正在使用AlphaFold3的想法來進行酶設(shè)計,于是順便開啟了支線任務(wù)——復(fù)現(xiàn)AF3。
作為生物分子的結(jié)構(gòu)預(yù)測模型,AF3主要可以用于三類任務(wù):
預(yù)測蛋白質(zhì)結(jié)構(gòu)
預(yù)測藥物-蛋白質(zhì)相互作用結(jié)構(gòu)
預(yù)測核酸-蛋白質(zhì)復(fù)合物結(jié)構(gòu)
這是結(jié)構(gòu)建模技術(shù)的根本進步,整個生物科技行業(yè)理應(yīng)從中受益。其應(yīng)用范圍廣泛,包括:
CRISPR基因編輯技術(shù):科學家可以準確看到DNA如何與「剪刀」Cas蛋白相互作用
癌癥研究:預(yù)測潛在藥物如何與癌癥靶標結(jié)合,AF3論文的亮點之一就是預(yù)測KRAS抑制劑與其靶標的復(fù)合物
抗體/納米抗體的靶向預(yù)測:AlphaFold3在這一類分子上的準確性比現(xiàn)有的最佳工具提高了兩倍
而此次Ligo發(fā)布的模型是在單鏈蛋白質(zhì)上訓(xùn)練的,可以完成上述三項功能中的第一項,即預(yù)測蛋白質(zhì)結(jié)構(gòu),其他兩個功能將在不久后完成訓(xùn)練并發(fā)布。
GitHub倉庫中目前僅公開了代碼,但團隊表示,一旦訓(xùn)練和基準測試完成就會發(fā)布權(quán)重,而且會使用Apache2.0許可證,實現(xiàn)「真正的開源」!
如何「復(fù)刻」AlphaFold3?
由于DeepMind在論文中發(fā)布了模型的完整架構(gòu),以及每個組件的偽代碼,因此任何團隊都有權(quán)復(fù)現(xiàn)。
但復(fù)現(xiàn)這件事,說起來容易,做起來難。
Ligo選擇將其完全翻譯為PyTorch代碼,其中涉及到不少逆向分析和重構(gòu)工作,遠多出他們的想象。
復(fù)現(xiàn)過程中,他們也發(fā)現(xiàn)了原始論文中存在的多個問題,會干擾訓(xùn)練,恰好是深度學習領(lǐng)域的關(guān)注點,因此一并放出,供社區(qū)參考。
1. MSE損失縮放公式有誤
如下圖所示,公式中使用的是加號而非乘號;如果使用加法,就無法在高噪聲水平下正確降低權(quán)重,且MSE在初始化時不是單位化的。
這與Karras等人2022年發(fā)表的論文不同,可能只是一個筆誤。
2. 論文中省略了原DiT包含的殘差層
代碼中將其添加了回來,并對兩種情況進行了對比實驗,發(fā)現(xiàn)引入殘差層可以改善梯度流和收斂性。
3. 當前形式的MSA模塊中存在無效層,
如果使用論文所述的MSA模塊的通信步驟,最后的配對加權(quán)平均和轉(zhuǎn)換層無法對配對表示(pair representation)做出貢獻,因此沒有梯度。
代碼使用了AlphaFold2中ExtraMsaStack的順序;另一種解決方案是使用權(quán)重共享,但論文中是否有此操作尚不明確
除了復(fù)刻模型,Ligo團隊也在探索更加快速高效的實現(xiàn)方式。
比如,重用了OpenFold的三角注意力(triangular attention),還將初代AF提出的MSARowAttentionWithPairBias重用于DiT,這是AF3論文中沒有提及的操作。
下面這個動畫由Ligo復(fù)現(xiàn)的模型生成(未使用模板),模型僅使用了8個A100GPU訓(xùn)練10小時。
分析顯示,盡管進行了優(yōu)化,但模型超過60%的操作仍然受限于內(nèi)存。因此除了擴展到更多功能,團隊還在借鑒ScaleFold的理念,致力于實現(xiàn)一個更具擴展性、更高效的方案。
「閉源」惹眾怒,3位本科生率先復(fù)現(xiàn)
作為一種生物分子結(jié)構(gòu)預(yù)測模型,AlphaFold3大大加速了蛋白質(zhì)結(jié)構(gòu)的繪制,解決了一個70多年來一直無法破解的巨大問題,因而對科學進步具有極其重要的意義。
研究人員可能需要用讀完一整個博士的時間(4~6年)才能建模出一個結(jié)構(gòu),但AlphaFold3只需幾分鐘,即可獲得與實驗精度相當?shù)念A(yù)測結(jié)果。
但除了博客和論文外,DeepMind只開放了一個服務(wù)器,允許科學家們進行非商業(yè)用途的使用,每天調(diào)用上限為20次。
之所以如此一反常態(tài),「捂緊」AF3的成果,很可能是有商業(yè)盈利用途的考量。
他們和新成立的子公司Isomorphic Labs正在進軍藥物研發(fā)領(lǐng)域,以滿足大型制藥公司的需求。
今年年初,Isomorphic Labs已經(jīng)與諾華和禮來簽訂了價值30億美元的合同,而最新的AF3的開發(fā)也有Isomorphic Labs的貢獻,可被用于加速藥物發(fā)現(xiàn)。
雖然為了商業(yè)盈利也無可厚非,但這種做法引起了科學家們的強烈不滿。
AF3發(fā)布之后的短短兩天,就有600多名科學家聯(lián)名向Nature遞交了一封公開信,指責谷歌DeepMind的這種做法不符合科學進步的原則。
同時也是在批評Nature——為什么在沒有公開代碼時接收了論文。
在反對的聲浪下,DeepMind沒有頂住壓力,隨后改口表示,會在6個月內(nèi)公布模型及權(quán)重。
Nature也不得不站出來回應(yīng),原原本本地向研究者們交代接收論文的考量和依據(jù)。
然而,很多反對者依舊不買賬,畢竟在爭分奪秒的研究領(lǐng)域,6個月實在太久;而且DeepMind出于合作方Isomophic Lab的盈利目的,很可能只會放出「閹割版」。
因此,除了Ligo,很多實驗室和機構(gòu)都開始了破解、復(fù)現(xiàn)AlphaFold3的工作。
Ligo所借鑒的OpenFold團隊就是其中之一,由哥倫比亞大學助理教授Mohammed AlQuraishi領(lǐng)頭。
他們此前就對AlphaFold2進行過復(fù)現(xiàn)和重新訓(xùn)練,成果在今年5月剛剛被Nature接收,代碼也如數(shù)公布。
就在發(fā)推宣傳這項成果時,Alquraishi表示,AlphaFold3項目在進行時了。
此外,GitHub上的開源大佬、舊金山的獨立軟件工程師Phil Wang也組織起了一個眾包開源項目,同樣是用PyTorch復(fù)現(xiàn)AlphaFold3,正進行得如火如荼。
本科生 VSDeepMind
有如此多的競爭者,能在不到4個月的時間率先復(fù)現(xiàn)AF3,Ligo這家初創(chuàng)究竟是什么來頭?
這家YC系初創(chuàng)成立于去年12月,總部位于倫敦,3位創(chuàng)始人都來自牛津,且有豐富的研究經(jīng)歷。
CEO Edward Harris曾在普林斯頓大學入讀計算機科學系,之后在2021年轉(zhuǎn)入牛津醫(yī)學院,目前正輟學全職創(chuàng)業(yè)。
進入牛津前,Harris曾在墨西哥創(chuàng)辦外賣平臺Abas2Go,目前年營業(yè)額超過120萬美元。
CSO Emily Egerton-Warburton目前在牛津分子和細胞生物化學系學習,曾獲得英國皇家化學學會頒布的化學奧賽金獎。
CTO Arda Goreci是牛津大學生物醫(yī)學系的學生,2023年憑借計算生物學方面研究成果入選Google Cloude Research Innovator計劃,他也是AF3開源項目的主要參與者和領(lǐng)導(dǎo)者。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設(shè)計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。