到2023年底,對生成式人工智能將需要多少能源的任何預(yù)測都是不準(zhǔn)確的。例如,頭條新聞傾向于猜測“人工智能需要5倍、10倍、30倍的電力”和“足夠運行10萬戶家庭的電力”等。與此同時,數(shù)據(jù)中心新聞等專業(yè)出版物的報道稱,每機(jī)架的功率密度將上升到50kW或100kW。
為什么生成式人工智能如此需要資源?正在采取哪些措施來計算其潛在的能源成本和碳足跡?分析師們已經(jīng)對特定工作負(fù)載場景進(jìn)行了自己的預(yù)測,但由于處于模型構(gòu)建前沿的云超大規(guī)模廠商幾乎沒有公開的數(shù)據(jù),因此目前幾乎沒有確鑿的數(shù)據(jù)可供參考。
經(jīng)過分析,人工智能模型從訓(xùn)練到推理的碳成本已經(jīng)產(chǎn)生了一些發(fā)人深省的數(shù)字。根據(jù)《哈佛商業(yè)評論》的一份報告,研究人員認(rèn)為,訓(xùn)練“單一大語言深度學(xué)習(xí)模型”,如OpenAI的GPT-4或谷歌的PaLM,估計會消耗約300噸二氧化碳。
其他研究人員計算出,使用一種名為“神經(jīng)架構(gòu)搜索”的技術(shù),訓(xùn)練一個中型生成人工智能模型所消耗的電力和能源相當(dāng)于626,000噸二氧化碳排放量。
那么,到底是什么讓人工智能如此耗電呢?
是數(shù)據(jù)集,也就是數(shù)據(jù)量嗎?使用了多少個參數(shù)?變壓器模型?編碼、解碼和微調(diào)?處理時間?答案當(dāng)然是上述所有因素的結(jié)合。
人們常說Gen AI大型語言模型(LLM)和自然語言處理(NLP)需要大量的訓(xùn)練數(shù)據(jù)。然而,從傳統(tǒng)數(shù)據(jù)存儲的角度來看,實際情況并非如此。
ChatGPT-3是在45TB的Commoncrawl(爬蟲網(wǎng)站)明文上進(jìn)行訓(xùn)練的,然后過濾到570GB的文本數(shù)據(jù)。作為對開源AI數(shù)據(jù)的貢獻(xiàn),它免費托管在AWS上。
但存儲量、從網(wǎng)絡(luò)、維基百科和其他地方抓取的數(shù)十億網(wǎng)頁或數(shù)據(jù)令牌,然后進(jìn)行編碼、解碼和微調(diào)以訓(xùn)練ChatGPT和其他模型,應(yīng)該不會對數(shù)據(jù)中心產(chǎn)生重大影響。
同樣,訓(xùn)練文本到語音、文本到圖像或文本到視頻模型所需的TB或PB數(shù)據(jù),應(yīng)該不會給數(shù)據(jù)中心的電源和冷卻系統(tǒng)帶來特別的壓力,這些數(shù)據(jù)中心是為托管存儲和處理數(shù)百或數(shù)千pb級數(shù)據(jù)的IT設(shè)備而構(gòu)建的。
文本到圖像模型的一個例子是LAION(大規(guī)模人工智能開放網(wǎng)絡(luò)),一個擁有數(shù)十億圖像的德國人工智能模型。其中一款名為LAION 400m的模型擁有10TB的網(wǎng)絡(luò)數(shù)據(jù)集。另一個是LAION 5B,它有58.5億個經(jīng)過剪輯過濾的文本圖像對。
訓(xùn)練數(shù)據(jù)量保持可控規(guī)模的一個原因是,大多數(shù)人工智能模型構(gòu)建者使用預(yù)訓(xùn)練模型(ptm),而不是從頭開始訓(xùn)練的搜索模型。我們所熟悉的兩個ptm示例是來自變壓器(BERT)的雙向編碼器表示和生成預(yù)訓(xùn)練變壓器(GPT)系列,如ChatGPT。
人工智能參數(shù)和變壓器
數(shù)據(jù)中心運營商感興趣的人工智能訓(xùn)練的另一個衡量標(biāo)準(zhǔn)是參數(shù)。
生成式AI模型在訓(xùn)練期間使用AI參數(shù)。參數(shù)數(shù)量越多,對預(yù)期結(jié)果的預(yù)測就越準(zhǔn)確。ChatGPT-3是基于1750億個參數(shù)構(gòu)建的。
但對于AI來說,參數(shù)的數(shù)量已經(jīng)在快速上升。中國LLM第一個版本W(wǎng)UDao使用了1.75萬億個參數(shù)。WUDao作為一個大型語言模型,還提供文本到圖像和文本到視頻的服務(wù)。預(yù)計數(shù)字將繼續(xù)增長。
由于沒有可用的硬數(shù)據(jù),可以合理地推測運行具有1.7萬億個參數(shù)的模型所需的計算能力將非常大。隨著我們進(jìn)入更多的人工智能視頻生成領(lǐng)域,模型中使用的數(shù)據(jù)量和參數(shù)數(shù)量將會激增。
Transformer是一種神經(jīng)網(wǎng)絡(luò)架構(gòu),旨在解決序列轉(zhuǎn)導(dǎo)或神經(jīng)機(jī)器翻譯問題。這意味著將輸入序列轉(zhuǎn)換為輸出序列的任何任務(wù)。
Transformer層依賴于循環(huán),因此當(dāng)輸入數(shù)據(jù)移入一個Transformer層時,數(shù)據(jù)將循環(huán)回到其上一層并傳出到下一層。這些層改進(jìn)了接下來發(fā)生的事情的預(yù)測輸出。它有助于提高語音識別、文本到語音轉(zhuǎn)換等。
多少電量才足夠?
標(biāo)準(zhǔn)普爾全球發(fā)布的一份題為《人工智能的力量:人工智能對電力需求的瘋狂預(yù)測讓行業(yè)處于緊張狀態(tài)》的報告引用了幾個消息來源:“關(guān)于美國的電力需求,很難量化像ChatGPT這樣的東西需要多少需求,就宏觀數(shù)據(jù)而言,到2030年,人工智能將占全球電力需求的3-4%。谷歌表示,目前人工智能占其電力使用量的10-15%,即每年2.3TWh。”
據(jù)估計,在每次網(wǎng)絡(luò)搜索中使用ChatGPT等生成式人工智能,將需要超過50萬臺Nvidia A100 HGX服務(wù)器,總計410萬個圖形處理單元或GPU。如果每臺服務(wù)器的電力需求為6.5kW,則日耗電量為80GWh,年耗電量為29.2TWh。
瑞典研究所RI.SE提供了用于訓(xùn)練AI模型的實際功率的計算結(jié)果。它說:“訓(xùn)練像GPT-4這樣的超大型語言模型,有1.7萬億個參數(shù),使用13萬億個標(biāo)記(單詞片段),是一項艱巨的任務(wù)。OpenAI透露,他們花費了1億美元,耗時100天,使用了25,000個Nvidia A100 GPU。每個配備這些GPU的服務(wù)器大約使用6.5kW,因此訓(xùn)練期間估計消耗50GWh的能源。”
這一點很重要,因為人工智能使用的能源正迅速成為公眾討論的話題。目前還沒有公布關(guān)于人工智能行業(yè)總足跡的估計,人工智能領(lǐng)域的爆炸式增長如此之快,幾乎不可能獲得準(zhǔn)確的數(shù)字。
當(dāng)我們等待機(jī)器學(xué)習(xí)和人工智能過去和現(xiàn)有的電力使用數(shù)據(jù)出現(xiàn)時,很明顯,一旦模型投入生產(chǎn)和使用,我們將處于exabyte(艾字節(jié))和exaflops(計算機(jī)每秒可以至少進(jìn)行10^18或百億億次浮點運算。)的計算規(guī)模。對于數(shù)據(jù)中心的電源和冷卻來說,這才是真正有趣和更具挑戰(zhàn)性的事情。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。