研究人員發(fā)現(xiàn)一種訓(xùn)練大型語言模型的省力方法 能耗降低30%

　　近日，密歇根大學(xué)的一項新研究發(fā)現(xiàn)，一種訓(xùn)練大型語言模型的省力方法可以在相同的時間內(nèi)完成，但能耗可降低30%。這種方法可以節(jié)省足夠的能源，到2026年為110萬美國家庭供電。

　　研究人員開發(fā)了一款名為 Perseus 的軟件工具，通過識別關(guān)鍵路徑，即需要最長時間才能完成的一系列子任務(wù)。然后，Perseus 會降低非關(guān)鍵路徑上的處理器速度，以便它們都能在同一時間完成工作，從而消除不必要的功耗。

　　該團隊通過訓(xùn)練 GPT-3、其他三個大型語言模型和一個計算機視覺模型來測試 Perseus。結(jié)果表明，Perseus 可以降低 AI 訓(xùn)練的能耗，同時保持相同的訓(xùn)練速度。

　　研究人員表示，這種省力方法對于公平使用人工智能具有重要意義。如果一個國家沒有足夠的電力來運行大型模型，他們可能需要使用遠程服務(wù)，或者只能運行較小、準(zhǔn)確度較低的模型。這種差距可能會進一步加劇不同社區(qū)之間的差距。

　　該研究表明，通過優(yōu)化 AI 訓(xùn)練方法，可以降低能耗，同時保持相同的訓(xùn)練速度。這對于節(jié)省能源和減少碳足跡具有重要意義。