騰訊披露大模型訓(xùn)練方法:Angel框架升級(jí) 效率提升2.6倍

　　在當(dāng)前大模型參數(shù)規(guī)模呈指數(shù)級(jí)增長(zhǎng)的情況下，騰訊近日披露了混元大模型訓(xùn)練的最新方法，通過升級(jí)自研機(jī)器學(xué)習(xí)框架Angel，成功提升大模型訓(xùn)練效率。這一升級(jí)使得千億級(jí)大模型訓(xùn)練可以節(jié)省高達(dá)50%的算力成本，為應(yīng)對(duì)算力緊缺提供了有力支持。Angel框架的升級(jí)不僅僅在于提高效率，還支持單任務(wù)萬(wàn)卡級(jí)別超大規(guī)模訓(xùn)練，進(jìn)一步提升了騰訊云HCC大模型專屬算力集群的性能和效率。

　　為了進(jìn)一步提高大模型的訓(xùn)練和推理效率，騰訊自研了機(jī)器學(xué)習(xí)訓(xùn)練框架AngelPTM。在存儲(chǔ)方面，AngelPTM采用多維度的并行計(jì)算，包括數(shù)據(jù)并行、模型并行、流水并行和序列并行。

　　此外，通過在ZeRO-Cache的基礎(chǔ)上引入統(tǒng)一視角技術(shù)，將顯存和主存打通，有效擴(kuò)展了顯存容量，提升了單機(jī)存儲(chǔ)容量達(dá)90%。在通訊方面，騰訊通過軟硬件結(jié)合的方式解決，構(gòu)建了3.2T RDMA網(wǎng)絡(luò)來拓寬帶寬，同時(shí)在框架軟件層面做GPU拓?fù)涓兄�，�?shí)現(xiàn)了負(fù)載均衡的流水并行。為了確保穩(wěn)定性，騰訊對(duì)基礎(chǔ)設(shè)施的網(wǎng)絡(luò)、硬件、存儲(chǔ)、云原生調(diào)度都進(jìn)行了監(jiān)控，并實(shí)施了自動(dòng)續(xù)訓(xùn)和系統(tǒng)容錯(cuò)。

　　此外，為解決推理成本不斷上升的問題，騰訊推出了大模型推理框架AngelHCF。通過擴(kuò)展并行能力和關(guān)鍵能力的優(yōu)化，包括Embedding共享、Attention算子優(yōu)化、Paged Attention優(yōu)化等方式，提高了推理性能，相較于主流框架，AngelHCF的推理速度提高了1.3倍。這一框架在騰訊混元大模型文生圖的應(yīng)用中，將推理耗時(shí)從原本的10秒縮短至3至4秒。

　　騰訊不僅僅在大模型訓(xùn)練方面取得了顯著的效率提升，還在推理階段取得了實(shí)質(zhì)性的優(yōu)化。這一系列技術(shù)提升已經(jīng)在騰訊云上得以開放，為用戶提供更優(yōu)的訓(xùn)練和推理加速能力，同時(shí)支持客戶一站式訓(xùn)練精調(diào)，打造專屬智能應(yīng)用。騰訊內(nèi)部已有超過300項(xiàng)業(yè)務(wù)和應(yīng)用場(chǎng)景接入騰訊混元大模型內(nèi)測(cè)，涵蓋了文本總結(jié)、摘要、創(chuàng)作、翻譯、代碼等多個(gè)領(lǐng)域，這標(biāo)志著整個(gè)生產(chǎn)鏈路的全面升級(jí)，從模型研發(fā)到應(yīng)用落地形成了一站式的平臺(tái)，進(jìn)一步推動(dòng)了大模型應(yīng)用的發(fā)展。