機(jī)器學(xué)習(xí)正在突破摩爾定律，Epoch最新AI發(fā)展趨勢(shì)預(yù)測(cè)

　　近日，Epoch AI更新了他們對(duì)機(jī)器學(xué)習(xí)遠(yuǎn)期趨勢(shì)的研究報(bào)告，在計(jì)算、數(shù)據(jù)、硬件、算法、成本等多個(gè)維度對(duì)人工智能模型趨勢(shì)進(jìn)行了深入研究。

　　Epoch AI是一家研究機(jī)構(gòu)，致力于研究影響人工智能發(fā)展軌跡和治理的關(guān)鍵趨勢(shì)和問(wèn)題，以造福社會(huì)。其報(bào)告中的研究結(jié)論聯(lián)合了包括 StandfordHAI 在內(nèi)的多個(gè)學(xué)術(shù)機(jī)構(gòu)發(fā)布，部分研究成果在 ICML 等期刊會(huì)議發(fā)布，是目前市面上相對(duì)權(quán)威的趨勢(shì)預(yù)測(cè)來(lái)源。

　　01.

　　計(jì)算趨勢(shì):

　　前沿 AI 模型的訓(xùn)練計(jì)算量每年增長(zhǎng)4-5倍

　　AI 訓(xùn)練中使用的計(jì)算量是 AI 進(jìn)步的關(guān)鍵驅(qū)動(dòng)因素。Epoch AI 對(duì)300多個(gè)機(jī)器學(xué)習(xí)系統(tǒng)的分析表明，從2010年到2024年5月，用于訓(xùn)練近期模型的計(jì)算量每年增長(zhǎng)4-5倍。我們發(fā)現(xiàn)前沿模型、近期的大型語(yǔ)言模型以及領(lǐng)先公司的模型也出現(xiàn)了類似的增長(zhǎng)。

　　最先進(jìn)的 AI 模型發(fā)展速度有多快?AI 訓(xùn)練中使用的計(jì)算量是 AI 進(jìn)步的關(guān)鍵驅(qū)動(dòng)因素。Epoch AI 對(duì)300多個(gè)機(jī)器學(xué)習(xí)系統(tǒng)的分析表明:

　　自2010年以來(lái)，著名 ML 模型的訓(xùn)練計(jì)算量每年增長(zhǎng)4.1倍。而從1956年到2010年， 著名 ML 模型的訓(xùn)練計(jì)算量每年增長(zhǎng)1.5倍。

　　對(duì)排名前10名的前沿模型進(jìn)行統(tǒng)計(jì)觀測(cè):

　　在2018年前，模型計(jì)算量的增長(zhǎng)速度快于總體趨勢(shì)，高達(dá)6.7x/年，或許反映了實(shí)驗(yàn)室加入 AI 競(jìng)賽。

　　2018年之后，前沿模型的增長(zhǎng)放緩至4.2x/年，與總體趨勢(shì)趨于一致。

　　語(yǔ)言模型是當(dāng)今最重要的模型之一。前沿 LLM 在過(guò)去十年中經(jīng)歷了快速的計(jì)算增長(zhǎng)，在 GPT-3（2020年）之后放緩至每年5倍。

　　領(lǐng)先的人工智能實(shí)驗(yàn)室，包括OpenAI、Google DeepMind 和 Meta AI，一直在以與總體趨勢(shì)相對(duì)一致的速度擴(kuò)展其模型，平均每年增長(zhǎng)5-7倍。

　　每年4-5倍的增長(zhǎng)速度是令人難以置信的，需要面臨巨大的工程和科學(xué)挑戰(zhàn)才能維持。訓(xùn)練很快將涉及管理數(shù)十萬(wàn)個(gè) GPU 的集群，并使用它們高效地訓(xùn)練更大的模型。

　　Gemini Ultra 可能是迄今為止計(jì)算最密集的模型，其最后一次訓(xùn)練運(yùn)行的總訓(xùn)練計(jì)算量估計(jì)為5e25FLOP。

　　02.

　　數(shù)據(jù)趨勢(shì)

　　2028年前，人類的文本Token會(huì)被消耗殆盡

　　有多少文本可以用于訓(xùn)練?

　　Common Crawl(CC) 是一個(gè)廣泛使用的爬取數(shù)據(jù)存儲(chǔ)庫(kù)，包含超過(guò)100萬(wàn)億個(gè) Token，大約是最大數(shù)據(jù)集的10倍。

　　Epoch AI 采用常用于研究搜索引擎的方法來(lái)估算索引網(wǎng)站的大小。使用CC等網(wǎng)絡(luò)語(yǔ)料庫(kù)計(jì)算詞頻，然后在Google搜索詞頻不同的單詞，并記錄每個(gè)單詞的頁(yè)面數(shù)量。由此計(jì)算出索引網(wǎng)絡(luò)上大概有500萬(wàn)億個(gè)Token，排除掉不適合LLM訓(xùn)練的數(shù)據(jù)集，最終網(wǎng)絡(luò)文本庫(kù)存將下降至100萬(wàn)億個(gè) Token。

　　那么何時(shí)會(huì)耗盡網(wǎng)絡(luò)上的文本?在大概100T Token上訓(xùn)練一個(gè)4個(gè)Epochs的模型大概會(huì)消耗~5e28FLOP的計(jì)算資源，預(yù)計(jì)比GPT4高出3個(gè)數(shù)量級(jí)（OOMs），根據(jù)模型算法的增長(zhǎng)速度，大概在2028年會(huì)達(dá)到這個(gè)臨界點(diǎn)，如果過(guò)度訓(xùn)練，這一時(shí)間甚至?xí)�更早到�?lái)。

　　目前，Llama370B 表示其接受了15萬(wàn)億個(gè)Token的訓(xùn)練，使其成為公開(kāi)確認(rèn)的擁有最大訓(xùn)練數(shù)據(jù)集的模型。

　　當(dāng)然，還有一些未編入索引的“深層”網(wǎng)絡(luò)和私人數(shù)據(jù)。Epoch AI估算，在Facebook、Instagram 和 WhatsApp 等社交媒體和消息應(yīng)用中有約3000T Token。

　　為了在2028年(或5e28FLOP)之后保持當(dāng)前的進(jìn)展速度，開(kāi)發(fā)或改進(jìn)替代數(shù)據(jù)源(如合成數(shù)據(jù))似乎至關(guān)重要。盡管挑戰(zhàn)仍然存在，但這些挑戰(zhàn)可以使機(jī)器學(xué)習(xí)繼續(xù)擴(kuò)展到公共文本之外。

　　03.

　　硬件趨勢(shì):

　　ML 硬件的 FLOP/s 性能每2.3年翻一番

　　Epoch AI 使用2010年至2023年機(jī)器學(xué)習(xí)實(shí)驗(yàn)中常用的47個(gè)機(jī)器學(xué)習(xí)加速器(GPU 和其他 AI 芯片)來(lái)研究 GPU 等硬件的計(jì)算性能發(fā)現(xiàn):

　　大型硬件集群對(duì)于最先進(jìn)的 ML 模型訓(xùn)練和推理的整體性能取決于多種因素，包括 GPU 本身的計(jì)算性能、內(nèi)存容量、內(nèi)存帶寬和互連。ML 硬件加速器中的 FLOP/s 性能每2.3年翻一番，內(nèi)存容量和帶寬每4年翻一番。

　　鑒于現(xiàn)代 ML 訓(xùn)練運(yùn)行需要數(shù)千個(gè)芯片的有效交互，因此內(nèi)存和互連帶寬是利用大型分布式 ML 訓(xùn)練場(chǎng)景中的峰值計(jì)算性能的瓶頸。

　　使用硬件成本或估算的云成本計(jì)算 GPU 性價(jià)比:ML GPU 的計(jì)算性價(jià)比 [FLOP/$] 每2.1年翻一番，通用 GPU 每2.5年翻一番。

　　使用TDP(芯片的熱設(shè)計(jì)功率)計(jì)算ML 硬件的能效:ML GPU 的能源效率 [FLOP/s/瓦特] 每3.0年翻一番，通用 GPU 每2.7年翻一番。

　　04.

　　算法趨勢(shì):

　　語(yǔ)言模型性能每5到14個(gè)月翻一番

　　在對(duì) LLM 的算法升級(jí)進(jìn)行研究時(shí)，Epoch AI發(fā)現(xiàn)，算法進(jìn)步使得模型實(shí)現(xiàn)給定性能水平所需的計(jì)算量大約每8個(gè)月減半，95% 的置信區(qū)間為5到14個(gè)月，再次超過(guò)摩爾定律。

　　尤其是兩個(gè)特別值得注意的算法創(chuàng)新，一個(gè)是Transformer 架構(gòu)，他的引入相當(dāng)于該領(lǐng)域近兩年的算法進(jìn)展。另一項(xiàng)創(chuàng)新是另一項(xiàng)創(chuàng)新是Chinchilla縮放定律的引入，相當(dāng)于8到16個(gè)月的算法進(jìn)展。

　　Epoch AI 在研究模型性能改善時(shí)，嘗試歸因算法的影響比重。其數(shù)據(jù)發(fā)現(xiàn)，計(jì)算效率的提高解釋了自2014年以來(lái)語(yǔ)言建模性能改進(jìn)的大約35%，而計(jì)算規(guī)模的增加則解釋了模型65% 的性能改進(jìn)。

　　05.

　　成本趨勢(shì):

　　模型訓(xùn)練成本每9個(gè)月翻一番

　　Epoch AI 估算了45個(gè)前沿模型，根據(jù)模型訓(xùn)練期間的硬件折舊和能耗來(lái)計(jì)算訓(xùn)練成本，發(fā)現(xiàn)自2016年以來(lái)，訓(xùn)練前沿 ML 模型的美元成本，總體增長(zhǎng)率為每年2.4倍。同時(shí)，自2016年以來(lái)，用于訓(xùn)練前沿 ML 模型的硬件購(gòu)置成本，每年增長(zhǎng)2.5倍。

　　在過(guò)去幾年中，頭部大廠的模型成本競(jìng)賽已經(jīng)到了新的數(shù)量級(jí)。根據(jù)最新數(shù)據(jù)，開(kāi)發(fā) Gemini Ultra 的總攤銷成本(包括硬件、電力和員工薪酬)估計(jì)為1.3億美元。用于訓(xùn)練 Gemini Ultra 的硬件購(gòu)置成本估計(jì)為6.7億美金。

　　按照當(dāng)前的訓(xùn)練成本增長(zhǎng)速度，預(yù)計(jì)在2027年，最大的模型成本將超過(guò)10億美金。

　　在拆分模型訓(xùn)練成本時(shí)，Epoch AI 分析了幾個(gè)主流選定模型的開(kāi)發(fā)成本。這些模型包括 GPT-3、OPT-175B、GPT-4和 Gemini Ultra。

　　研究發(fā)現(xiàn)，目前AI加速器芯片、其他服務(wù)器組件和互連硬件的總成本占總成本的47-67%，而研發(fā)人員成本占29-49%（包括股權(quán)），能源消耗占剩余成本的2-6%。

　　雖然當(dāng)前能源只占成本的一小部分，但由于模型所需的電力容量很大，目前Gemini Ultra 預(yù)計(jì)需要35兆瓦。簡(jiǎn)單推斷到2029年，人工智能超級(jí)計(jì)算機(jī)將需要千兆瓦級(jí)的電力供應(yīng)。