DeepMind提出語言模型訓(xùn)練新方法DiLoCo 通信量減少500倍

　　DeepMind的最新研究在語言模型訓(xùn)練領(lǐng)域取得突破，提出了分布式低通信(DiLoCo)方法。這一方法采用分布式優(yōu)化算法，使得語言模型可以在連接性較差的設(shè)備集群上訓(xùn)練，不僅性能超越完全同步模型，而且通信開銷降低了500倍。為了實現(xiàn)這一創(chuàng)新，研究人員借鑒了聯(lián)邦學(xué)習(xí)文獻，提出了一種基于動量優(yōu)化器的聯(lián)邦平均算法的變體，通過替換內(nèi)部和外部優(yōu)化器，成功應(yīng)對傳統(tǒng)訓(xùn)練方法的工程和基礎(chǔ)設(shè)施挑戰(zhàn)。

　　DiLoCo方法的關(guān)鍵優(yōu)勢體現(xiàn)在三個方面:首先，對設(shè)備的共位要求較低，減輕了后勤負擔(dān);其次，通信頻率降低，工作者不需要在每一步都進行通信，大大減少了通信開銷;最后，設(shè)備異構(gòu)性的引入增強了靈活性，同一集群內(nèi)的設(shè)備可以不同類型，提高了適應(yīng)性。

　　在DiLoCo的訓(xùn)練過程中，通過復(fù)制預(yù)訓(xùn)練模型，每個工作者獨立且并行地在自己的數(shù)據(jù)片段上訓(xùn)練模型。隨后，工作者平均其外部梯度，外部優(yōu)化器更新全局參數(shù)，這一過程重復(fù)多次。值得注意的是，每個復(fù)制品可以在不同的全局位置使用各種加速器進行訓(xùn)練。

　　在C4數(shù)據(jù)集上的實驗證明，DiLoCo在8個工作者的情況下展現(xiàn)出與完全同步優(yōu)化相當(dāng)?shù)男阅埽�同時通信開銷降低了500倍。此外，DiLoCo對每個工作者數(shù)據(jù)分布的變化表現(xiàn)出卓越的穩(wěn)健性，并且能夠適應(yīng)訓(xùn)練過程中資源可用性的變化。

　　綜合而言，DiLoCo方法為分布式訓(xùn)練提供了一個強大而有效的解決方案，特別是在多臺設(shè)備可用但連接性較差的情況下。這一創(chuàng)新性的方法不僅克服了基礎(chǔ)設(shè)施挑戰(zhàn)，還展示出卓越的性能和適應(yīng)性，標志著語言模型優(yōu)化領(lǐng)域的重大進展。