3位牛津本科生學(xué)霸，4個(gè)月復(fù)現(xiàn)AlphaFold 3直接開(kāi)源！

　　5月發(fā)布的AlphaFold3有論文、沒(méi)代碼，讓許多機(jī)構(gòu)和團(tuán)隊(duì)紛紛開(kāi)啟了「復(fù)現(xiàn)AF3」的工作。率先做出成果的，是一家成立不到一年的初創(chuàng)Ligo，3位創(chuàng)始人全都是牛津大學(xué)的本科生。

　　谷歌DeepMind5月發(fā)布的AlphaFold3同時(shí)席卷了生物界和計(jì)算機(jī)科學(xué)界，被認(rèn)為是「有諾獎(jiǎng)潛力的成果」。

　　成就如此卓著、意義如此重大，AF3的成果公開(kāi)自然讓眾多科學(xué)家翹首以盼。

　　然而，DeepMind團(tuán)隊(duì)卻潑下了一盆巨大的冷水。他們只放出了論文，并沒(méi)有公布任何相關(guān)的代碼或模型權(quán)重。

　　AlphaFold是一項(xiàng)千載難逢的突破，對(duì)生物科學(xué)產(chǎn)生了巨大影響。我認(rèn)為它的作者最終會(huì)獲得諾貝爾獎(jiǎng)，因?yàn)樗麄兘鉀Q了一個(gè)70多年來(lái)一直無(wú)法破解的巨大問(wèn)題。我基本上每天都在工作中使用它，指導(dǎo)藥物發(fā)現(xiàn)和實(shí)驗(yàn)上有用的HBV聚合酶的工程設(shè)計(jì)。

　　最新版本的AlphaFold3比以前更強(qiáng)大。它已經(jīng)在我的實(shí)驗(yàn)室中揭示了HBV RNA最初如何與聚合酶結(jié)合的結(jié)構(gòu)。不幸的是，他們更改了此版本的使用許可，限制了其用于藥物發(fā)現(xiàn)。

　　如今剛剛過(guò)去不到4個(gè)月，初創(chuàng)公司Ligo宣布——他們已經(jīng)完成了AlphaFold3開(kāi)源復(fù)現(xiàn)的工作。

　　這個(gè)成果相當(dāng)激動(dòng)人心，也得到了Figure創(chuàng)始人Brett Adcock的轉(zhuǎn)發(fā)。

　　Ligo團(tuán)隊(duì)表示，他們正在使用AlphaFold3的想法來(lái)進(jìn)行酶設(shè)計(jì)，于是順便開(kāi)啟了支線任務(wù)——復(fù)現(xiàn)AF3。

　　作為生物分子的結(jié)構(gòu)預(yù)測(cè)模型，AF3主要可以用于三類任務(wù):

　　預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)

　　預(yù)測(cè)藥物-蛋白質(zhì)相互作用結(jié)構(gòu)

　　預(yù)測(cè)核酸-蛋白質(zhì)復(fù)合物結(jié)構(gòu)

　　這是結(jié)構(gòu)建模技術(shù)的根本進(jìn)步，整個(gè)生物科技行業(yè)理應(yīng)從中受益。其應(yīng)用范圍廣泛，包括:

　　CRISPR基因編輯技術(shù):科學(xué)家可以準(zhǔn)確看到DNA如何與「剪刀」Cas蛋白相互作用

　　癌癥研究:預(yù)測(cè)潛在藥物如何與癌癥靶標(biāo)結(jié)合，AF3論文的亮點(diǎn)之一就是預(yù)測(cè)KRAS抑制劑與其靶標(biāo)的復(fù)合物

　　抗體/納米抗體的靶向預(yù)測(cè):AlphaFold3在這一類分子上的準(zhǔn)確性比現(xiàn)有的最佳工具提高了兩倍

　　而此次Ligo發(fā)布的模型是在單鏈蛋白質(zhì)上訓(xùn)練的，可以完成上述三項(xiàng)功能中的第一項(xiàng)，即預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)，其他兩個(gè)功能將在不久后完成訓(xùn)練并發(fā)布。

　　GitHub倉(cāng)庫(kù)中目前僅公開(kāi)了代碼，但團(tuán)隊(duì)表示，一旦訓(xùn)練和基準(zhǔn)測(cè)試完成就會(huì)發(fā)布權(quán)重，而且會(huì)使用Apache2.0許可證，實(shí)現(xiàn)「真正的開(kāi)源」!

　　如何「復(fù)刻」AlphaFold3?

　　由于DeepMind在論文中發(fā)布了模型的完整架構(gòu)，以及每個(gè)組件的偽代碼，因此任何團(tuán)隊(duì)都有權(quán)復(fù)現(xiàn)。

　　但復(fù)現(xiàn)這件事，說(shuō)起來(lái)容易，做起來(lái)難。

　　Ligo選擇將其完全翻譯為PyTorch代碼，其中涉及到不少逆向分析和重構(gòu)工作，遠(yuǎn)多出他們的想象。

　　復(fù)現(xiàn)過(guò)程中，他們也發(fā)現(xiàn)了原始論文中存在的多個(gè)問(wèn)題，會(huì)干擾訓(xùn)練，恰好是深度學(xué)習(xí)領(lǐng)域的關(guān)注點(diǎn)，因此一并放出，供社區(qū)參考。

　　1. MSE損失縮放公式有誤

　　如下圖所示，公式中使用的是加號(hào)而非乘號(hào);如果使用加法，就無(wú)法在高噪聲水平下正確降低權(quán)重，且MSE在初始化時(shí)不是單位化的。

　　這與Karras等人2022年發(fā)表的論文不同，可能只是一個(gè)筆誤。

　　2. 論文中省略了原DiT包含的殘差層

　　代碼中將其添加了回來(lái)，并對(duì)兩種情況進(jìn)行了對(duì)比實(shí)驗(yàn)，發(fā)現(xiàn)引入殘差層可以改善梯度流和收斂性。

　　3. 當(dāng)前形式的MSA模塊中存在無(wú)效層，

　　如果使用論文所述的MSA模塊的通信步驟，最后的配對(duì)加權(quán)平均和轉(zhuǎn)換層無(wú)法對(duì)配對(duì)表示(pair representation)做出貢獻(xiàn)，因此沒(méi)有梯度。

　　代碼使用了AlphaFold2中ExtraMsaStack的順序;另一種解決方案是使用權(quán)重共享，但論文中是否有此操作尚不明確

　　除了復(fù)刻模型，Ligo團(tuán)隊(duì)也在探索更加快速高效的實(shí)現(xiàn)方式。

　　比如，重用了OpenFold的三角注意力(triangular attention)，還將初代AF提出的MSARowAttentionWithPairBias重用于DiT，這是AF3論文中沒(méi)有提及的操作。

　　下面這個(gè)動(dòng)畫由Ligo復(fù)現(xiàn)的模型生成(未使用模板)，模型僅使用了8個(gè)A100GPU訓(xùn)練10小時(shí)。

　　分析顯示，盡管進(jìn)行了優(yōu)化，但模型超過(guò)60%的操作仍然受限于內(nèi)存。因此除了擴(kuò)展到更多功能，團(tuán)隊(duì)還在借鑒ScaleFold的理念，致力于實(shí)現(xiàn)一個(gè)更具擴(kuò)展性、更高效的方案。

　　「閉源」惹眾怒，3位本科生率先復(fù)現(xiàn)

　　作為一種生物分子結(jié)構(gòu)預(yù)測(cè)模型，AlphaFold3大大加速了蛋白質(zhì)結(jié)構(gòu)的繪制，解決了一個(gè)70多年來(lái)一直無(wú)法破解的巨大問(wèn)題，因而對(duì)科學(xué)進(jìn)步具有極其重要的意義。

　　研究人員可能需要用讀完一整個(gè)博士的時(shí)間(4～6年)才能建模出一個(gè)結(jié)構(gòu)，但AlphaFold3只需幾分鐘，即可獲得與實(shí)驗(yàn)精度相當(dāng)?shù)念A(yù)測(cè)結(jié)果。

　　但除了博客和論文外，DeepMind只開(kāi)放了一個(gè)服務(wù)器，允許科學(xué)家們進(jìn)行非商業(yè)用途的使用，每天調(diào)用上限為20次。

　　之所以如此一反常態(tài)，「捂緊」AF3的成果，很可能是有商業(yè)盈利用途的考量。

　　他們和新成立的子公司Isomorphic Labs正在進(jìn)軍藥物研發(fā)領(lǐng)域，以滿足大型制藥公司的需求。

　　今年年初，Isomorphic Labs已經(jīng)與諾華和禮來(lái)簽訂了價(jià)值30億美元的合同，而最新的AF3的開(kāi)發(fā)也有Isomorphic Labs的貢獻(xiàn)，可被用于加速藥物發(fā)現(xiàn)。

　　雖然為了商業(yè)盈利也無(wú)可厚非，但這種做法引起了科學(xué)家們的強(qiáng)烈不滿。

　　AF3發(fā)布之后的短短兩天，就有600多名科學(xué)家聯(lián)名向Nature遞交了一封公開(kāi)信，指責(zé)谷歌DeepMind的這種做法不符合科學(xué)進(jìn)步的原則。

　　同時(shí)也是在批評(píng)Nature——為什么在沒(méi)有公開(kāi)代碼時(shí)接收了論文。

　　在反對(duì)的聲浪下，DeepMind沒(méi)有頂住壓力，隨后改口表示，會(huì)在6個(gè)月內(nèi)公布模型及權(quán)重。

　　Nature也不得不站出來(lái)回應(yīng)，原原本本地向研究者們交代接收論文的考量和依據(jù)。

　　然而，很多反對(duì)者依舊不買賬，畢竟在爭(zhēng)分奪秒的研究領(lǐng)域，6個(gè)月實(shí)在太久;而且DeepMind出于合作方Isomophic Lab的盈利目的，很可能只會(huì)放出「閹割版」。

　　因此，除了Ligo，很多實(shí)驗(yàn)室和機(jī)構(gòu)都開(kāi)始了破解、復(fù)現(xiàn)AlphaFold3的工作。

　　Ligo所借鑒的OpenFold團(tuán)隊(duì)就是其中之一，由哥倫比亞大學(xué)助理教授Mohammed AlQuraishi領(lǐng)頭。

　　他們此前就對(duì)AlphaFold2進(jìn)行過(guò)復(fù)現(xiàn)和重新訓(xùn)練，成果在今年5月剛剛被Nature接收，代碼也如數(shù)公布。

　　就在發(fā)推宣傳這項(xiàng)成果時(shí)，Alquraishi表示，AlphaFold3項(xiàng)目在進(jìn)行時(shí)了。

　　此外，GitHub上的開(kāi)源大佬、舊金山的獨(dú)立軟件工程師Phil Wang也組織起了一個(gè)眾包開(kāi)源項(xiàng)目，同樣是用PyTorch復(fù)現(xiàn)AlphaFold3，正進(jìn)行得如火如荼。

　　本科生 VSDeepMind

　　有如此多的競(jìng)爭(zhēng)者，能在不到4個(gè)月的時(shí)間率先復(fù)現(xiàn)AF3，Ligo這家初創(chuàng)究竟是什么來(lái)頭?

　　這家YC系初創(chuàng)成立于去年12月，總部位于倫敦，3位創(chuàng)始人都來(lái)自牛津，且有豐富的研究經(jīng)歷。

　　CEO Edward Harris曾在普林斯頓大學(xué)入讀計(jì)算機(jī)科學(xué)系，之后在2021年轉(zhuǎn)入牛津醫(yī)學(xué)院，目前正輟學(xué)全職創(chuàng)業(yè)。

　　進(jìn)入牛津前，Harris曾在墨西哥創(chuàng)辦外賣平臺(tái)Abas2Go，目前年?duì)I業(yè)額超過(guò)120萬(wàn)美元。

　　CSO Emily Egerton-Warburton目前在牛津分子和細(xì)胞生物化學(xué)系學(xué)習(xí)，曾獲得英國(guó)皇家化學(xué)學(xué)會(huì)頒布的化學(xué)奧賽金獎(jiǎng)。

　　CTO Arda Goreci是牛津大學(xué)生物醫(yī)學(xué)系的學(xué)生，2023年憑借計(jì)算生物學(xué)方面研究成果入選Google Cloude Research Innovator計(jì)劃，他也是AF3開(kāi)源項(xiàng)目的主要參與者和領(lǐng)導(dǎo)者。