深度勢能預訓練大模型DPA-2發(fā)布

　　在邁向通用大原子模型(Large Atomic Model，LAM)的征途上，深度勢能核心開發(fā)者團隊面向社區(qū)，發(fā)起OpenLAM 大原子模型計劃。OpenLAM 的口號是“征服元素周期表!”，希望通過建立開源開放的圍繞微尺度大模型的生態(tài)，為微觀科學研究提供新的基礎設施，并推動材料、能源、生物制藥等領域微尺度工業(yè)設計的變革。

　　經過北京科學智能研究院、深勢科技、北京應用物理與計算數學研究所等 29 家單位的 42 位合作者的通力協作，深度勢能團隊近日面向社區(qū)發(fā)布了深度勢能預訓練大模型 DPA-2，將成為 OpenLAM 大原子模型計劃的重要載體�；�于 DPA-2 的微調/蒸餾/應用自動化流程也于同期面向社區(qū)全面開放，打通了面向各類實際應用的最后一公里。相關文章[1]以《DPA-2: Towards a universal large atomic model for molecular and material simulation》為題，在arXiv上預發(fā)表。

　　面向豐富的下游任務，微調 DPA-2“大模型”所需的數據量整體相比過去減少了 1-2 個數量級;同時，進一步蒸餾、壓縮得到的深度勢能“小模型”可以保持過去模型的精度和效率。相比于去年發(fā)布的DPA-1，DPA-2 在模型架構顯著更新的同時，最大的特點在于采用了多任務訓練的策略，從而可以同時學習計算設置不同、標簽類型不同的各類數據集。由此產生的模型在下游任務上顯示出極強的 few-shot 乃至 zero-shot 遷移的能力，顯著超越過去的方案。目前用于訓練 DPA-2 模型的數據集已覆蓋了半導體、鈣鈦礦、合金、表面催化、正極材料、固態(tài)電解質、有機分子等多類體系。

　　圖1 DPA-2 提出的多任務預訓練、微調、蒸餾全流程示意圖

　　“大原子模型計劃(OpenLAM)”為進一步打破數據壁壘，拓寬原子層面各方面的應用，為開源開放的科學計算生態(tài)共建打開了新的思路。作為一項開放式的協作計劃，建立一個開放且面向應用的模型評估系統也格外重要。面向社區(qū)該計劃將定期進行模型更新與評估報告發(fā)布、定期更新發(fā)布領域應用與評估工作流，同時開展比賽、培訓交流，與領域開發(fā)者協作推動建立供預訓練與評估的數據集等。這將是 OpenLAM 計劃在 2024 年的重點。