研究人員發(fā)現(xiàn)一種訓(xùn)練大型語(yǔ)言模型的省力方法 能耗降低30%

　　近日，密歇根大學(xué)的一項(xiàng)新研究發(fā)現(xiàn)，一種訓(xùn)練大型語(yǔ)言模型的省力方法可以在相同的時(shí)間內(nèi)完成，但能耗可降低30%。這種方法可以節(jié)省足夠的能源，到2026年為110萬(wàn)美國(guó)家庭供電。

　　研究人員開(kāi)發(fā)了一款名為 Perseus 的軟件工具，通過(guò)識(shí)別關(guān)鍵路徑，即需要最長(zhǎng)時(shí)間才能完成的一系列子任務(wù)。然后，Perseus 會(huì)降低非關(guān)鍵路徑上的處理器速度，以便它們都能在同一時(shí)間完成工作，從而消除不必要的功耗。

　　該團(tuán)隊(duì)通過(guò)訓(xùn)練 GPT-3、其他三個(gè)大型語(yǔ)言模型和一個(gè)計(jì)算機(jī)視覺(jué)模型來(lái)測(cè)試 Perseus。結(jié)果表明，Perseus 可以降低 AI 訓(xùn)練的能耗，同時(shí)保持相同的訓(xùn)練速度。

　　研究人員表示，這種省力方法對(duì)于公平使用人工智能具有重要意義。如果一個(gè)國(guó)家沒(méi)有足夠的電力來(lái)運(yùn)行大型模型，他們可能需要使用遠(yuǎn)程服務(wù)，或者只能運(yùn)行較小、準(zhǔn)確度較低的模型。這種差距可能會(huì)進(jìn)一步加劇不同社區(qū)之間的差距。

　　該研究表明，通過(guò)優(yōu)化 AI 訓(xùn)練方法，可以降低能耗，同時(shí)保持相同的訓(xùn)練速度。這對(duì)于節(jié)省能源和減少碳足跡具有重要意義。