科技云報(bào)道：GPU受限，國內(nèi)AI大模型能否交出自己的答卷？

　　科技云報(bào)道原創(chuàng)。

　　這個(gè)4月，成為國產(chǎn)大模型混戰(zhàn)期。

　　繼百度之后，阿里、華為、京東、360等大模型也陸續(xù)浮出水面，大模型軍備競賽正式開啟。

　　4月7日，阿里云宣布自研大模型“通義千問”開始邀請企業(yè)用戶測試體驗(yàn)。

　　4月8日，華為云人工智能領(lǐng)域首席科學(xué)家田奇現(xiàn)身《人工智能大模型技術(shù)高峰論壇》，分享了華為云盤古大模型的進(jìn)展及其應(yīng)用。

　　同日，京東集團(tuán)副總裁何曉冬表示，京東將在今年發(fā)布新一代產(chǎn)業(yè)大模型，言犀是“京東版”ChatGPT。

　　4月9日，360正式官宣，基于360GPT大模型開發(fā)的人工智能產(chǎn)品矩陣“360智腦”率先落地搜索場景，將面向企業(yè)用戶開放內(nèi)測。

　　但有業(yè)內(nèi)人士指出，大模型的訓(xùn)練需要龐大的算力資源，GPU是大模型的最佳算力發(fā)動機(jī)。

　　截至目前，英偉達(dá)的GPU芯片正在為全球絕大多數(shù)的人工智能系統(tǒng)提供最基礎(chǔ)的算力支持。

　　那么，在GPU受限的情況下，國內(nèi)AI行業(yè)發(fā)展境況如何，能否交出屬于他們自己的答卷?未來的發(fā)展是否會與國外越差越大?

　　國內(nèi)廠商大囤AI芯片

　　眾所周知，OpenAI ChatGPT大模型能有今日風(fēng)光，英偉達(dá)的芯片A100功不可沒。

　　公開數(shù)據(jù)顯示，憑借10000片英偉達(dá)的GPU芯片，OpenAI成功訓(xùn)練出了GPT-3大語言模型。

　　TrendForce研究顯示，以A100的算力為基礎(chǔ)，GPT-3.5大模型需要高達(dá)2萬枚GPU，未來商業(yè)化后可能需要超過3萬枚。

　　在這個(gè)ChatGPT的出圈元年，英偉達(dá)作為全球算力硬件當(dāng)之無愧的龍頭公司，今年前三個(gè)月市值翻了一番。

　　近日，英偉達(dá)又不負(fù)眾望，推出了適用于ChatGPT的專用GPU，可以將推理速度提升10倍。

　　但值得注意的是，自2022年9月，美國禁止向國內(nèi)客戶售賣英偉達(dá)A100、H100和AMD的MI250人工智能芯片。

　　基于此，針對中國用戶，英偉達(dá)按照A800操作模式(A100芯片的降維版本)，推出了完全符合出口規(guī)定的H100的降維版本芯片，具體參數(shù)并未公布。

　　然而，無論是A800，還是H100中國版本，都和國外市場可使用的原版芯片存在差距。

　　據(jù)公開信息顯示，英偉達(dá)專供中國的A800芯片，其傳輸速度只有A100的70%。

　　國內(nèi)企業(yè)擔(dān)心以后會買不到英偉達(dá)AI芯片，自美國制裁令開啟，就開始大舉囤芯片。

　　有廠家自去年下半年起就持續(xù)在市場中尋覓能拆出A100的各類整機(jī)產(chǎn)品，目的僅是獲得GPU芯片。

　　但據(jù)媒體報(bào)道，國內(nèi)擁有超高算力芯片的廠商并不多。國內(nèi)云廠商主要采用的是英偉達(dá)的中低端性能產(chǎn)品，擁有超過1萬枚GPU的企業(yè)不超過5家。

　　其中，擁有1萬枚英偉達(dá)A100芯片的最多只有一家。

　　而國內(nèi)云計(jì)算相關(guān)專家認(rèn)為，做好AI大模型的算力最低門檻，就是1萬枚英偉達(dá)A100芯片。

　　國內(nèi)外AI芯片存在差距

　　從長遠(yuǎn)來看，未來大模型的研發(fā)和部署是必然趨勢，而每個(gè)大模型訓(xùn)練和部署的背后，都有幾萬個(gè)GPU芯片在支持。因此，通用GPU市場需求將會迎來爆發(fā)式增長。

　　據(jù)Verified Market Research數(shù)據(jù)，2020年中國大陸的獨(dú)立GPU市場規(guī)模為47.39億美元，預(yù)計(jì)2027年將超過345.57億美元。

　　有業(yè)內(nèi)人士指出，作為大模型的主要入局者，國內(nèi)互聯(lián)網(wǎng)大廠擁有天然的數(shù)據(jù)優(yōu)勢，自然不希望因算力被卡在大模型能帶來的廣闊世界和商機(jī)之外。

　　在經(jīng)歷制裁后，國內(nèi)的大型互聯(lián)網(wǎng)企業(yè)在采購相關(guān)芯片時(shí)，盡管目前還是會購買英偉達(dá)，但也有相關(guān)的國產(chǎn)化替代方案。

　　因此，在這波替代潮中，國內(nèi)的寒武紀(jì)、昆侖芯、燧原、華為海思、海光、沐曦、摩爾線程等中國新一代GPU芯片研發(fā)公司，都將迎來非常大的機(jī)會。

　　但同時(shí)，也需要看到國產(chǎn)GPU芯片與國外的差距，具體而言：

　　大模型對于算力的需求分為兩個(gè)階段，一是訓(xùn)練出ChatGPT這類大模型的過程;二是將這個(gè)模型商業(yè)化的推理過程。

　　在大模型訓(xùn)練階段，需要處理高顆粒度的信息，對云端訓(xùn)練芯片的芯片處理信息的精細(xì)度和算力速度要求更高，而現(xiàn)階段國產(chǎn)GPU大多還不具備支撐大模型訓(xùn)練所需的能力。

　　不同于多媒體和圖形處理的單精度浮點(diǎn)計(jì)算(FP32)計(jì)算需求，在超算領(lǐng)域，雙精度浮點(diǎn)計(jì)算能力FP64是進(jìn)行高算力計(jì)算的硬性指標(biāo)。

　　英偉達(dá)的A100同時(shí)具備上述兩類能力，而國內(nèi)GPU芯片的云端訓(xùn)練公司，大多只能處理單精度浮點(diǎn)計(jì)算，如壁仞科技(通用GPU芯片BR100)、天數(shù)智芯(“智鎧100”)、寒武紀(jì)(云端推理思元270)的產(chǎn)品在FP32的理論指標(biāo)上做得不錯(cuò)，但沒有處理FP64的能力。

　　根據(jù)公開消息，目前國內(nèi)唯一支持FP64雙精度浮點(diǎn)運(yùn)算的只有海光推出的DCU(協(xié)處理器)，但是它的性能只有A100的60%左右。

　　但有專家認(rèn)為，國內(nèi)通用GPU產(chǎn)品在滿足大模型訓(xùn)練上與國際旗艦產(chǎn)品存在差距，但并非不可彌補(bǔ)，只是此前行業(yè)在產(chǎn)品定義里未朝著大模型方向做設(shè)計(jì)。

　　目前國產(chǎn)GPU公司都在朝著大模型領(lǐng)域去做布局。

　　昆侖芯表示，昆侖芯2代芯片相較第一代產(chǎn)品大幅優(yōu)化了算力、互聯(lián)和高性能，公司正在不斷研發(fā)新的產(chǎn)品和技術(shù)，為ChatGPT等大模型的應(yīng)用提供更佳的性能體驗(yàn)。

　　登臨科技新一代Goldwasser產(chǎn)品針對基于Transformer的網(wǎng)絡(luò)和生成式AI類大模型的應(yīng)用在性能有大幅提升，對標(biāo)國際大廠的產(chǎn)品有明顯的能效比和性價(jià)比的優(yōu)勢。

　　燧原科技宣布對公司品牌做戰(zhàn)略升級，要打造AIGC時(shí)代的基礎(chǔ)設(shè)施。

　　摩爾線程則表示將推出基于公司全功能GPU的AIGC算力平臺。

　　此外，行業(yè)從業(yè)者也都在做相關(guān)的探索和努力，如思考能否通過Chiplet(將芯片堆疊或者并列擺放)、先進(jìn)封裝的方式提高算力。

　　國產(chǎn)AI芯片尚需生態(tài)支撐

　　事實(shí)上，比起硬件性能上的差異，軟件適配與兼容讓國內(nèi)客戶接受更難。

　　當(dāng)大模型和應(yīng)用層面的競爭拉響，從商業(yè)角度思考，采用國產(chǎn)AI芯片參戰(zhàn)并不是好的選擇。

　　從硬件性能上，使用國產(chǎn)AI芯片計(jì)算會比采用英偉達(dá)A100慢，在分秒必爭的當(dāng)下，“慢”是企業(yè)最不愿意看到的場景。

　　此外，哪怕能通過堆芯片的方式堆出一個(gè)算力相當(dāng)?shù)漠a(chǎn)品，從服務(wù)器運(yùn)營的角度，它的主板開銷、電費(fèi)、運(yùn)營費(fèi)，以及需要考慮的功耗、散熱等問題，都會大大增加數(shù)據(jù)中心的運(yùn)營成本。

　　對廠商而言，把國產(chǎn)AI芯片用起來并不容易。

　　算力的釋放需要復(fù)雜的軟硬件配合，才能將芯片的理論算力變?yōu)橛行�算力。國產(chǎn)AI芯片想要替換英偉達(dá)的GPU，需要突破CUDA生態(tài)和整個(gè)產(chǎn)業(yè)生態(tài)的壁壘。

　　先說CUDA，為了把GPU的算力能力進(jìn)一步發(fā)揮，英偉達(dá)花了10年時(shí)間，投入3000多人打造了一個(gè)CUDA框架。

　　這套框架里集成了很多調(diào)用GPU算力所需的代碼，工程師可以直接使用這些代碼，無須一一編寫。

　　如果沒有這套編碼語言，軟件工程師發(fā)揮硬件價(jià)值的難度會變得極大。

　　目前世界上主流的深度學(xué)習(xí)框架都基于CUDA進(jìn)行加速，整個(gè)產(chǎn)業(yè)中下游軟件、驅(qū)動廠家等都基于此進(jìn)行適配。

　　這構(gòu)成了一個(gè)極強(qiáng)大的生態(tài)壁壘，就像蘋果系統(tǒng)內(nèi)部的閉環(huán)生態(tài)，和window操作系統(tǒng)+上層應(yīng)用軟件一樣。

　　尚處于創(chuàng)業(yè)階段的芯片設(shè)計(jì)公司，很難在生態(tài)上投入如此大的人力財(cái)力，大多會選擇兼容CUDA架構(gòu)，來降低客戶使用門檻。

　　當(dāng)然，也有部分公司會選擇自研加速器，如：寒武紀(jì)就構(gòu)建了自己的加速平臺;昆侖芯也面向開發(fā)者提供了類似英偉達(dá)CUDA的軟件棧，希望打造自己的生態(tài)，也能擺脫硬件需受CUDA更新的困擾。

　　但即使有了這個(gè)編程框架，整個(gè)產(chǎn)業(yè)生態(tài)上的人也很難把這個(gè)芯片用起來。

　　對于企業(yè)來說，更換云端 AI 芯片要承擔(dān)一定的遷移成本和風(fēng)險(xiǎn)，除非新產(chǎn)品存在性能優(yōu)勢，或者能在某個(gè)維度上提供其他人解決不了的問題，否則客戶更換的意愿很低。

　　為此，國內(nèi)從業(yè)者已經(jīng)在構(gòu)建生態(tài)上做努力。

　　在一個(gè)AI生態(tài)中，支撐大模型訓(xùn)練需求，需要底層硬件、中間深度學(xué)習(xí)平臺、上層應(yīng)用軟件的整體適配、互相支持。

　　例如，2022年4月，百度飛漿已完成和包括百度昆侖芯、華為昇騰在內(nèi)的22家國內(nèi)外硬件廠商，31種芯片的適配和優(yōu)化，基本覆蓋國內(nèi)主流芯片。

　　昆侖芯和飛漿完成3級兼容性適配，登臨科技和飛漿也完成2級適配，沐曦集成電路和飛漿完成1級兼容性測試。

　　除此之外，華為的MindSpore和愛可生向量數(shù)據(jù)庫兼容;智源研究院的九鼎智算平臺也在和多家國內(nèi)AI芯片公司合作。

　　結(jié)語

　　未來，大模型訓(xùn)練對算力的需求會越來越大。想要參戰(zhàn)大模型競賽，算法、算力、數(shù)據(jù)環(huán)環(huán)相扣。

　　在最卡脖子的芯片環(huán)節(jié)，如何縮小差距，成為國內(nèi)廠商求共解的命題。