如何馴服AI大模型“能耗巨獸”

　　AIGC及其背后的大模型，是不折不扣的“能耗巨獸”。在部署大模型的過(guò)程中，AI工作負(fù)載帶來(lái)的功耗和成本挑戰(zhàn)，已然成為產(chǎn)業(yè)鏈的“阿喀琉斯之踵”。近期，螞蟻集團(tuán)聯(lián)合多所高校發(fā)布的《圍繞綠色計(jì)算發(fā)展機(jī)遇的一項(xiàng)調(diào)查》(以下簡(jiǎn)稱“調(diào)查”)指出，綠色措施、節(jié)能人工智能、節(jié)能計(jì)算系統(tǒng)和可持續(xù)發(fā)展的人工智能用是構(gòu)建綠色計(jì)算的四個(gè)關(guān)鍵，強(qiáng)調(diào)了人工智能的節(jié)能降耗對(duì)于計(jì)算產(chǎn)業(yè)的意義。與此同時(shí)，恩智浦、英特爾、英偉達(dá)等半導(dǎo)體企業(yè)也在積極應(yīng)對(duì)大模型帶來(lái)的能耗挑戰(zhàn)，從架構(gòu)創(chuàng)新、軟硬件協(xié)同方案、網(wǎng)絡(luò)平臺(tái)等多個(gè)層面，為大模型部署提質(zhì)降耗。

　　為“大腦”分擔(dān)任務(wù) 半導(dǎo)體廠商的架構(gòu)創(chuàng)新方法論

　　大模型作為近年來(lái)最重要的新興計(jì)算場(chǎng)景，對(duì)芯片的算力和內(nèi)存需求都提出了極大挑戰(zhàn)。北京大學(xué)集成電路學(xué)院研究員賈天宇向《中國(guó)電子報(bào)》記者表示，在傳統(tǒng)摩爾定律難以為繼的背景下，半導(dǎo)體企業(yè)需要通過(guò)利用架構(gòu)設(shè)計(jì)、制造工藝、先進(jìn)封裝等多個(gè)層級(jí)協(xié)同的設(shè)計(jì)手段來(lái)滿足大模型的計(jì)算需求。例如，通過(guò)采用異構(gòu)計(jì)算、存算一體、三維堆疊等先進(jìn)計(jì)算理念降低芯片的能耗，提高單一芯片的性能和能效。此外，針對(duì)大模型的大算力需求，芯片的可擴(kuò)展性也變得尤為重要。重視多芯片的系統(tǒng)級(jí)擴(kuò)展和互聯(lián)技術(shù)，也成為半導(dǎo)體企業(yè)技術(shù)研發(fā)中不可忽視的重要內(nèi)容。

　　“在控制大模型帶來(lái)的能耗和成本方面，半導(dǎo)體企業(yè)可以通過(guò)優(yōu)化計(jì)算架構(gòu)、提升能效等措施，降低大模型的能耗和成本。但針對(duì)大規(guī)模的大模型訓(xùn)練，需要與軟件生態(tài)、數(shù)據(jù)中心建設(shè)等多環(huán)節(jié)配合，共同為企業(yè)和開發(fā)者提供更具成本效益的解決方案。”賈天宇說(shuō)。

　　如賈天宇所說(shuō)，架構(gòu)創(chuàng)新素來(lái)被視為實(shí)現(xiàn)芯片技術(shù)突破的發(fā)動(dòng)機(jī)。在采訪中，多家半導(dǎo)體企業(yè)負(fù)責(zé)人都向記者闡述了基于架構(gòu)創(chuàng)新和優(yōu)化為大模型增效降耗的思路。

　　長(zhǎng)期以來(lái)，人工智能及其熱門應(yīng)用常常被喻為“大腦”，比如自動(dòng)駕駛被喻為“車輪上的大腦”。但是，人腦并不是僅僅依靠大腦工作，腦干、小腦也承擔(dān)了許多任務(wù)，比如控制心跳和體溫，保持身體的穩(wěn)定性、協(xié)調(diào)性等。如果大腦進(jìn)行所有的決策和控制，人體就很難負(fù)擔(dān)大腦需要的能量。

　　比照包含大腦、小腦、腦干的人腦系統(tǒng)，恩智浦半導(dǎo)體執(zhí)行副總裁兼首席技術(shù)官Lars Reger為記者描述了一種更加高效節(jié)能的計(jì)算體系：以AI算力芯片為“大腦”，進(jìn)行高效能的計(jì)算和加速;以網(wǎng)關(guān)處理器為“小腦”，實(shí)現(xiàn)不同功能區(qū)的互聯(lián)和集成，以及異構(gòu)網(wǎng)絡(luò)中的數(shù)據(jù)處理;以MCU、感知芯片、聯(lián)網(wǎng)芯片作為“腦干”，實(shí)現(xiàn)感知和實(shí)時(shí)任務(wù)處理。

　　“有的車廠CEO告訴我們，由于能耗的問(wèn)題，他們不得不降低汽車的續(xù)航，這主要是因?yàn)楝F(xiàn)有的技術(shù)架構(gòu)不夠高效。所以在開發(fā)系統(tǒng)時(shí)，我們要確保在正常運(yùn)行的情況下，不需要時(shí)刻激活大腦的功能，只要小腦就可以了。比如我們?cè)陂_車的時(shí)候，更多是基于平時(shí)的規(guī)則和訓(xùn)練下意識(shí)地駕駛，只有遇到挑戰(zhàn)的時(shí)候才需要用到大腦。”Lars Reger向《中國(guó)電子報(bào)》記者表示。

　　據(jù)悉，恩智浦已經(jīng)將這套計(jì)算理念集成到了智能駕駛的技術(shù)架構(gòu)中，架構(gòu)中“小腦”和“腦干”部分由恩智浦的技術(shù)來(lái)保障的。S32G作為網(wǎng)關(guān)處理器，扮演小腦的角色;S32K等用于車身各部分控制的MCU、S32R等傳感芯片、S32Z等域控制和區(qū)域控制芯片以及以太網(wǎng)連接產(chǎn)品，共同構(gòu)成“腦干”，以應(yīng)對(duì)能耗對(duì)續(xù)航的局限和挑戰(zhàn)。此外，《中國(guó)電子報(bào)》記者獲悉，恩智浦即將推出最新的5納米級(jí)旗艦產(chǎn)品，能夠把數(shù)據(jù)從車輛傳輸?shù)娇刂茊卧��?/p>

　　跟著最新算法走 隨時(shí)提供軟硬件協(xié)同方案

　　隨著業(yè)界對(duì)大模型的研發(fā)和部署逐步深入，新的壓縮、調(diào)優(yōu)方式層出不窮，從算法和框架層面實(shí)現(xiàn)對(duì)大模型的提效降耗。但算法、框架的更新，需要半導(dǎo)體廠商及時(shí)跟上，提供相應(yīng)的軟硬件協(xié)同方案，才能實(shí)現(xiàn)新算法、新框架的部署。

　　比如，大模型的調(diào)優(yōu)方式，正在從完全微調(diào)走向更加簡(jiǎn)捷、低功耗的微調(diào)方式。螞蟻集團(tuán)聯(lián)合多所高校發(fā)布的《圍繞綠色計(jì)算發(fā)展機(jī)遇的一項(xiàng)調(diào)查》提到，傳統(tǒng)的調(diào)優(yōu)方式會(huì)微調(diào)所有模型參數(shù)，使通用大型語(yǔ)言模型適應(yīng)特定的目標(biāo)任務(wù)，這一過(guò)程稱為完全微調(diào)。然而，當(dāng)大模型的參數(shù)規(guī)模從百萬(wàn)、千萬(wàn)向數(shù)億乃至萬(wàn)億規(guī)模發(fā)展，完全微調(diào)會(huì)帶來(lái)更長(zhǎng)的程序代碼運(yùn)行時(shí)間和高昂的存儲(chǔ)成本。為了解決這個(gè)問(wèn)題，更加簡(jiǎn)捷的微調(diào)方法已成為大模型的研究熱點(diǎn)。比如PEFT(高效參數(shù)微調(diào))僅更新模型參數(shù)的子集或附加的模塊，使大模型適配下游任務(wù)，以降低微調(diào)所需的計(jì)算和存儲(chǔ)資源;基于提示的微調(diào)則訓(xùn)練大模型根據(jù)特定提示或指令生成響應(yīng)，引導(dǎo)大模型做出更理想的決策和行動(dòng)。由于無(wú)需添加更多的訓(xùn)練數(shù)據(jù)，基于提示的微調(diào)能節(jié)省大量的時(shí)間和成本，以實(shí)現(xiàn)更加綠色的計(jì)算。

　　圍繞基于提示的微調(diào)等最新微調(diào)方式，英特爾基于AI加速引擎和配套的軟件工具，進(jìn)一步減少了微調(diào)所需的工作量。第四代英特爾至強(qiáng)可擴(kuò)展處理器中內(nèi)置了矩陣乘法加速器AMX，能夠更快速地處理 BFloat16(BF16)或INT8數(shù)據(jù)類型的矩陣乘加運(yùn)算，從而提升模型訓(xùn)練和推理的性能。尤其對(duì)于ChatGLM-6B等在開源微調(diào)代碼中支持CPU 自動(dòng)混合精度的大模型，開發(fā)者在啟動(dòng)微調(diào)時(shí)加入CPU自動(dòng)混合精度的使能參數(shù)，就可以直接利用矩陣乘法加速器提升大模型的微調(diào)計(jì)算速度。

　　英特爾院士、大數(shù)據(jù)技術(shù)全球CTO戴金權(quán)向《中國(guó)電子報(bào)》記者表示，解題大模型功耗和成本壓力的關(guān)鍵，是根據(jù)不同大模型的最新 技術(shù)需求，提供軟硬件協(xié)同的支撐方案。

　　“我們可以通過(guò)提供跨平臺(tái)的XPU架構(gòu)和開放的AI軟件架構(gòu)及優(yōu)化，為預(yù)訓(xùn)練、微調(diào)、推理等不同的AI和大模型應(yīng)用，提供高效的開發(fā)部署平臺(tái)。”戴金權(quán)告訴記者。據(jù)他介紹，英特爾在硬件架構(gòu)方面，正在基于Gaudi AI加速器，數(shù)據(jù)中心Max GPU，內(nèi)置AMX加速的第四代至強(qiáng)處理器，以及邊緣和客戶端處理器為用戶提供XPU異構(gòu)計(jì)算支持。在軟件架構(gòu)層面，英特爾和社區(qū)在PyTorch、DeepSpeed、HuggingFace Transformers等開源項(xiàng)目開展合作，加入了在Intel XPU平臺(tái)上的眾多優(yōu)化。同時(shí)，英特爾的開源軟件工具IPEX、BigDL、INC、OpenVINO等，對(duì)大模型提供專門的支持和加速。

　　加速與降耗并行 打造更加節(jié)能的基礎(chǔ)設(shè)施

　　數(shù)據(jù)中心是AIGC和大模型主要的基礎(chǔ)設(shè)施之一，也是節(jié)能技術(shù)的重點(diǎn)發(fā)力領(lǐng)域。隨著全球的熱點(diǎn)IT應(yīng)用地區(qū)都在強(qiáng)調(diào)綠色數(shù)據(jù)中心，如何在降低能耗的同時(shí)釋放更高效能，成為英偉達(dá)、AMD等數(shù)據(jù)中心芯片供應(yīng)商的必答題。

　　圍繞數(shù)據(jù)中心的減碳需求，AMD宣布了到2025年為人工智能訓(xùn)練和高性能計(jì)算應(yīng)用程序帶來(lái)30倍能效提升的目標(biāo)。據(jù)AMD測(cè)算，30倍的能效提升將在2025年節(jié)省數(shù)十億千瓦時(shí)的電力，使系統(tǒng)在五年內(nèi)完成單次計(jì)算所需的電力減少97%。這一方面需要核心制程的提升，另一方面需要架構(gòu)的改進(jìn)和技術(shù)的創(chuàng)新來(lái)提高算力。比如基于一顆第三代AMD EPYC服務(wù)器處理器和四個(gè)AMD Instinct MI250x GPU的加速節(jié)點(diǎn)，AMD實(shí)現(xiàn)了在2020年的基準(zhǔn)水平之上提高6.79倍能效。

　　英偉達(dá)也將加速計(jì)算作為減少功耗的主要策略。加速庫(kù)是英偉達(dá)加速計(jì)算的核心，目前英偉達(dá)面向計(jì)算機(jī)視覺、數(shù)據(jù)處理、機(jī)器學(xué)習(xí)和 AI 等領(lǐng)域布局了300 個(gè)加速庫(kù)和400 個(gè) AI 模型。

　　除了提升計(jì)算單元的能效，計(jì)算單元構(gòu)成的AI集群，也對(duì)數(shù)據(jù)中心的整體功耗有著重要影響。在計(jì)算單元互聯(lián)以構(gòu)建AI集群，以及集群、設(shè)備互聯(lián)構(gòu)建AI計(jì)算網(wǎng)絡(luò)的過(guò)程中，會(huì)產(chǎn)生大量網(wǎng)絡(luò)數(shù)據(jù)。若采用傳統(tǒng)的以太網(wǎng)架構(gòu)，會(huì)導(dǎo)致數(shù)據(jù)流的擁塞和延遲，使系統(tǒng)無(wú)法有效利用GPU，從而提升了大模型訓(xùn)練的時(shí)間和成本。

　　在網(wǎng)絡(luò)平臺(tái)層面，英偉達(dá)推出專門面向AI負(fù)載的以太網(wǎng)架構(gòu)Spectrum-X。該架構(gòu)基于內(nèi)置Spectrum-4 AISC芯片的交換機(jī)與Blue-Field DPU，提升AI集群的資源利用和數(shù)據(jù)傳輸效率。在對(duì)GPT-3的訓(xùn)練中，NVIDIA Spectrum-X 網(wǎng)絡(luò)平臺(tái)相比傳統(tǒng)以太網(wǎng)網(wǎng)絡(luò)架構(gòu)，實(shí)現(xiàn)了的 1.7 倍的加速效果。尤其針對(duì)數(shù)據(jù)中心常用的功率封頂措施，Spectrum-4 ASIC能夠簡(jiǎn)化網(wǎng)絡(luò)設(shè)計(jì)，提高了每瓦的性能，幫助數(shù)據(jù)中心控制網(wǎng)絡(luò)功率預(yù)算。

　　從計(jì)算架構(gòu)的革新，軟硬件方案的更新，到基礎(chǔ)設(shè)施算力和互聯(lián)方式的迭代，半導(dǎo)體廠商正在從多個(gè)維度緩解大模型帶來(lái)的能耗壓力。而大模型的到來(lái)，也在倒逼算力系統(tǒng)的創(chuàng)新，為基礎(chǔ)軟硬件的各個(gè)節(jié)點(diǎn)帶來(lái)新的市場(chǎng)機(jī)會(huì)。