GTX580老舊顯卡也能訓(xùn)練 GPT-4，成本高達(dá)驚人的十倍

　　Epoch AI 最近推出了一款互動(dòng)模擬器，揭示了使用老舊顯卡 GTX580訓(xùn)練 GPT-4的可能性，盡管成本高達(dá)現(xiàn)代硬件的十倍。

　　研究表明，訓(xùn)練 GPT-4所需的浮點(diǎn)運(yùn)算次數(shù)在1e25到1e26之間，且隨著模型規(guī)模的擴(kuò)大，效率通常會(huì)降低。

　　使用 GTX580顯卡訓(xùn)練 GPT-4的成本是現(xiàn)代硬件的十倍，效率較低。

　　模擬器可以分析不同 GPU 的性能差異，并支持復(fù)雜的多數(shù)據(jù)中心訓(xùn)練模擬。

　　該研究旨在深入理解未來硬件需求，以支持大型 AI 模型的訓(xùn)練。