科學(xué)家創(chuàng)新技術(shù)用更少的GPU訓(xùn)練ChatGPT級別萬億參數(shù)模型

　　科學(xué)家們在世界上最強(qiáng)大的超級計算機(jī)上取得了巨大突破，僅使用其8%的計算能力，成功訓(xùn)練了一個與ChatGPT規(guī)模相當(dāng)?shù)哪Ｐ�。這項研究來自著名的Oak Ridge National Laboratory，他們在Frontier超級計算機(jī)上采用了創(chuàng)新技術(shù)，僅使用數(shù)千個AMD GPU就訓(xùn)練出了一個擁有萬億參數(shù)的語言模型。

　　通常，訓(xùn)練像OpenAI的ChatGPT這樣規(guī)模的語言模型需要一個龐大的超級計算機(jī)。然而，F(xiàn)rontier團(tuán)隊采用了分布式訓(xùn)練策略，通過優(yōu)化并行架構(gòu)，僅使用Frontier計算能力的8%就成功完成了這一任務(wù)。具體而言，他們采用了隨機(jī)數(shù)據(jù)并行和張量并行等技術(shù)，以降低節(jié)點(diǎn)之間的通信，同時處理內(nèi)存限制。

　　這項研究的結(jié)果顯示，在1750億參數(shù)和1萬億參數(shù)模型的情況下，弱擴(kuò)展效率達(dá)到了100%。此外，這個項目還取得了這兩個模型的強(qiáng)擴(kuò)展效率分別為89%和87%。

　　然而，訓(xùn)練擁有萬億參數(shù)的大型語言模型始終是一個具有挑戰(zhàn)性的任務(wù)。研究人員指出，這個模型的體積至少為14TB，而Frontier中的一塊MI250X GPU只有64GB。他們強(qiáng)調(diào)，需要進(jìn)一步研究和開發(fā)方法來克服內(nèi)存問題。

　　在面臨大批次大小導(dǎo)致的損失發(fā)散問題時，研究人員提出，未來關(guān)于大規(guī)模系統(tǒng)訓(xùn)練時間的研究必須改善大批次訓(xùn)練，并采用更小的每副本批次大小。此外，研究人員呼吁在AMD GPU上進(jìn)行更多工作，指出目前大多數(shù)大規(guī)模模型訓(xùn)練都是在支持Nvidia解決方案的平臺上進(jìn)行的。盡管研究人員為在非Nvidia平臺上高效訓(xùn)練大型語言模型提供了“藍(lán)圖”，但他們認(rèn)為有必要更深入地研究在AMD GPU上的高效訓(xùn)練性能。

　　Frontier在最近的Top500榜單中保持其作為最強(qiáng)大超級計算機(jī)的地位，超過了Intel推出的Aurora超級計算機(jī)。這項研究為未來訓(xùn)練巨大語言模型提供了寶貴的經(jīng)驗和方法，同時也突顯了分布式訓(xùn)練和并行計算在實現(xiàn)這一目標(biāo)上的關(guān)鍵作用。