AI大模型興起 考驗(yàn)國(guó)產(chǎn)GPU算力成色

　　自ChatGPT爆火之后，AI大模型的研發(fā)層出不窮，不同種類的AI大模型也相繼推出，國(guó)內(nèi)儼然已掀起狂熱的百模大戰(zhàn)。

　　作為革命性的數(shù)據(jù)模型，ChatGPT帶來(lái)的驚喜不僅僅是內(nèi)容生產(chǎn)方式的變化，更讓業(yè)界看到了通用人工智能的希望，推動(dòng)AI大模型和新應(yīng)用不斷涌現(xiàn)。有專家稱，未來(lái)人工智能研究將有八九成將轉(zhuǎn)向大模型，我們正奔向大模型時(shí)代。

　　曾經(jīng)算力、數(shù)據(jù)、算法是傳統(tǒng)AI的三要素，共同造就了人工智能的廣泛應(yīng)用。但伴隨著通用人工智能時(shí)代(AGI)到來(lái)，海量數(shù)據(jù)需要進(jìn)行大量的訓(xùn)練和優(yōu)化，以達(dá)到更高的預(yù)測(cè)準(zhǔn)確性和泛化能力，對(duì)算力的需求早已不可同日而語(yǔ)。

　　在大模型如火如荼之際，算力供給與需求之間存在的巨大“鴻溝”仍在放大，如何解決算力“焦慮”已成為產(chǎn)業(yè)界著力的新目標(biāo)。

　　算力缺口巨大

　　基于Transformer結(jié)構(gòu)的大模型要不斷優(yōu)化，就需要越來(lái)越巨量的參數(shù)“投喂”，由于訓(xùn)練的參數(shù)量級(jí)的增長(zhǎng)，致使算力需求也量級(jí)增長(zhǎng)，算力集群正變得愈發(fā)龐大。

　　以ChatGPT為例，僅就算力而言，OpenAI為了訓(xùn)練ChatGPT，構(gòu)建了由近3萬(wàn)張英偉達(dá)V100顯卡組成的龐大算力集群。以半精度FP16計(jì)算，這是一個(gè)將近4000P的算力集群。

　　有消息稱，GPT-4達(dá)到了100萬(wàn)億的參數(shù)規(guī)模，其對(duì)應(yīng)的算力需求同比大幅增加。數(shù)據(jù)顯示，大模型參數(shù)數(shù)量的增長(zhǎng)與算力的平方成正比。

　　隨著投身AI大模型的公司如雨后春筍般涌現(xiàn)，再加上圍繞大模型的人工智能生態(tài)和由此產(chǎn)生的用于推理的算力需求，未來(lái)的算力缺口將更加驚人。

　　顯然，算力是否充足將決定各公司大模型產(chǎn)品的成敗。天數(shù)智芯產(chǎn)品線總裁鄒翾認(rèn)為，對(duì)頭部企業(yè)來(lái)說(shuō)，早期的GPT大模型大概需要1萬(wàn)張的英偉達(dá)GPU，但迭代的大模型或至少需要數(shù)千張最先進(jìn)的GPU才能完成。隨著這一領(lǐng)域出現(xiàn)眾多的跟隨者，對(duì)于跟隨企業(yè)來(lái)說(shuō)，勢(shì)必要在算力上不能輸于頭部企業(yè)，甚至還要進(jìn)行更多的算力基礎(chǔ)設(shè)施投資才能實(shí)現(xiàn)追趕。

　　壁仞科技系統(tǒng)架構(gòu)副總裁丁云帆在人工智能行業(yè)盛會(huì)——北京智源大會(huì)發(fā)表《基于高性能通用GPU打造國(guó)產(chǎn)大模型訓(xùn)練系統(tǒng)》的演講時(shí)指出，ChatGPT的成功要素在于工程和算法的協(xié)同創(chuàng)新，數(shù)據(jù)是燃料也是基礎(chǔ)，特別是高質(zhì)量的數(shù)據(jù);算法發(fā)揮引擎的作用;算力則是加速器，不止涉及超大GPU集群，存儲(chǔ)與網(wǎng)絡(luò)集群也至關(guān)重要。

　　由于受禁令影響，國(guó)內(nèi)市場(chǎng)需求主力為英偉達(dá)針對(duì)中國(guó)市場(chǎng)推出的A800和H800，隨著需求不斷擴(kuò)容，英偉達(dá)A800價(jià)格漲幅驚人，且交貨周期也被拉長(zhǎng)，甚至部分新訂單“可能要到12月才能交付”。

　　所幸的是，在通用GPU領(lǐng)域國(guó)內(nèi)諸多企業(yè)已率先布局，在芯片量產(chǎn)、生態(tài)構(gòu)建、應(yīng)用拓展領(lǐng)域也在步步推進(jìn)，在劃時(shí)代的AIGC產(chǎn)業(yè)興起之際，也迎來(lái)了新的市場(chǎng)空間。

　　需算力軟硬一體

　　盡管面臨前所未有的新商機(jī)，但要把握住AI大模型的興起機(jī)遇，要從底層明了真正支撐大模型的算力需求。

　　對(duì)此鄒翾表示，從模型、計(jì)算框架層和算子加速等出發(fā)，算力要滿足三大要素，一是通用，可支持模型的快速變形、快速支持新算子、快速支持新通訊;二是易用，可利用現(xiàn)有算法模塊實(shí)現(xiàn)、調(diào)優(yōu)經(jīng)驗(yàn)可借鑒;三是好用，可重構(gòu)并行計(jì)算、訪存全交換、計(jì)算全互聯(lián)等。

　　而要實(shí)現(xiàn)這三大要素，其實(shí)背后透露更本質(zhì)的邏輯。正如昆侖芯研發(fā)總監(jiān)羅航直言，國(guó)內(nèi)算力產(chǎn)業(yè)化必經(jīng)三道窄門：一是量產(chǎn)，量產(chǎn)可以極大攤薄先期流片的巨大投入，通過(guò)量產(chǎn)攤薄成本是實(shí)現(xiàn)盈利的唯一方式，也是衡量芯片成熟度的指標(biāo)之一;二是生態(tài)，為了讓客戶更好地開發(fā)應(yīng)用，要著力構(gòu)建一個(gè)合理、合適的軟件生態(tài);三是軟硬一體產(chǎn)品化，要與垂直行業(yè)結(jié)合起來(lái)實(shí)現(xiàn)產(chǎn)品的價(jià)值傳遞。

　　此外，為了進(jìn)一步支持訓(xùn)練參數(shù)的海量擴(kuò)展，不僅GPU廠商要有打造數(shù)千至數(shù)萬(wàn)張GPU卡訓(xùn)練集群的能力，同時(shí)要保證在訓(xùn)練過(guò)程中能連續(xù)工作且不出故障，對(duì)產(chǎn)品穩(wěn)定性和可靠性產(chǎn)生極嚴(yán)格的要求。同時(shí)，還要支持可擴(kuò)展的彈性能力，實(shí)現(xiàn)算力彈性可擴(kuò)容。

　　丁云帆總結(jié)，訓(xùn)練千億參數(shù)大模型，客戶考量的最主要是要存得下、易擴(kuò)展，此外還要求易使用、速度快、成本低。

　　值得一提的是，為全面助力大模型的發(fā)展，國(guó)內(nèi)包括寒武紀(jì)、昆侖芯、燧原、壁仞、天數(shù)智芯、沐曦、摩爾線程等廠商也均圍繞底層技術(shù)支撐做了大量功課，通過(guò)最大化數(shù)據(jù)復(fù)用、可擴(kuò)展大矩陣計(jì)算和存算異步、混合精度Transformer加速來(lái)提升芯片性能。同時(shí)，持續(xù)在基礎(chǔ)軟件方面提升實(shí)力。

　　“壁仞除在GPU算力、成本等方面著力之外，還多維切入提供強(qiáng)大的支撐：一是集群規(guī)模按需擴(kuò)展，多個(gè)數(shù)據(jù)面并行通信，減少?zèng)_突;二是可訪問(wèn)多個(gè)機(jī)器學(xué)習(xí)框架，以數(shù)據(jù)并行維度進(jìn)行彈性調(diào)度，支持自動(dòng)容錯(cuò)和擴(kuò)縮容，大大加快訓(xùn)練速度，提升效率，并支持任務(wù)跨交換機(jī)遷移，降低單交換機(jī)下資源碎片，提升資源利用率，保障任務(wù)穩(wěn)定性。”丁云帆表示。

　　生態(tài)是未來(lái)關(guān)鍵

　　更深層次來(lái)看，國(guó)產(chǎn)大模型的訓(xùn)練既離不開大算力GPU的支持，也更需要構(gòu)建一個(gè)軟硬一體全棧覆蓋的成熟產(chǎn)業(yè)生態(tài)。

　　進(jìn)行AI大模型訓(xùn)練，稱得上是一項(xiàng)考驗(yàn)全面升級(jí)的系統(tǒng)工程。丁云帆介紹說(shuō)，這一工程包含涉及高性能算力集群、機(jī)器學(xué)習(xí)平臺(tái)、加速庫(kù)、訓(xùn)練框架和推理引擎等，需要包括CPU、存儲(chǔ)、通信在內(nèi)的分布式硬件支持高效互聯(lián)，并與訓(xùn)練框架流程實(shí)現(xiàn)全面的協(xié)同，同時(shí)要實(shí)現(xiàn)并行擴(kuò)展和穩(wěn)定可靠。

　　也正是由于這樣的需求，國(guó)產(chǎn)GPU要適應(yīng)大模型訓(xùn)練系統(tǒng)考量的角度就不僅限于算力基礎(chǔ)，如何為行業(yè)伙伴提供一站式的大模型算力及賦能服務(wù)才是終極考驗(yàn)，因而生態(tài)構(gòu)建也至關(guān)重要。

　　圍繞這一需求，國(guó)內(nèi)一些GPU廠商已然先行布局，致力于打造軟硬一體的全棧大模型解決方案，在包括以大算力芯片為基礎(chǔ)的高性能基礎(chǔ)設(shè)施、智能調(diào)度管理數(shù)千GPU卡的機(jī)器學(xué)習(xí)平臺(tái)、高性能算子庫(kù)和通信庫(kù)以及兼容適配主流大模型的訓(xùn)練框架層面持續(xù)發(fā)力。

　　為共同推進(jìn)算力與大模型應(yīng)用的協(xié)同創(chuàng)新，GPU廠商與國(guó)產(chǎn)大模型的產(chǎn)業(yè)生態(tài)也在加快合作步伐。

　　據(jù)悉壁仞科技已先后加入了智源研究院FlagOpen(飛智)大模型技術(shù)開源體系與智源研究院“AI開放生態(tài)實(shí)驗(yàn)室”項(xiàng)目，并在AI大模型軟硬件生態(tài)建設(shè)領(lǐng)域開展了一系列合作。雙方參與的科技部科技創(chuàng)新2030“新一代人工智能”重大項(xiàng)目——“人工智能基礎(chǔ)模型支撐平臺(tái)與評(píng)測(cè)技術(shù)”業(yè)已取得重要進(jìn)展。

　　此外，壁仞科技還參與了“飛槳AI Studio硬件生態(tài)專區(qū)”的建設(shè)與聯(lián)合發(fā)布，希望與包括百度飛槳在內(nèi)的眾多生態(tài)合作伙伴緊密協(xié)作，結(jié)合中國(guó)AI框架與AI算力的優(yōu)勢(shì)，為中國(guó)AI產(chǎn)業(yè)的發(fā)展提供強(qiáng)大驅(qū)動(dòng)力。

　　據(jù)介紹，天數(shù)智芯的通用GPU產(chǎn)品廣泛支持DeepSpeed、Colossal、BM Train等各種大模型框架，基于其構(gòu)成的算力集群方案也有效支持LLaMa、GPT-2、CPM等主流AIGC大模型的Pretrain和Finetune，還適配了清華、智源、復(fù)旦等在內(nèi)的國(guó)內(nèi)多個(gè)研究機(jī)構(gòu)的開源項(xiàng)目。

　　放眼未來(lái)，AI大模型需求會(huì)持續(xù)走高，國(guó)內(nèi)GPU廠商如何持續(xù)迭代產(chǎn)品、不斷升級(jí)算力解決方案，適配支持更高效、更復(fù)雜算法的大模型，仍將是一項(xiàng)持久的考驗(yàn)。