AI大模型興起 考驗國產(chǎn)GPU算力成色

　　自ChatGPT爆火之后，AI大模型的研發(fā)層出不窮，不同種類的AI大模型也相繼推出，國內(nèi)儼然已掀起狂熱的百模大戰(zhàn)。

　　作為革命性的數(shù)據(jù)模型，ChatGPT帶來的驚喜不僅僅是內(nèi)容生產(chǎn)方式的變化，更讓業(yè)界看到了通用人工智能的希望，推動AI大模型和新應用不斷涌現(xiàn)。有專家稱，未來人工智能研究將有八九成將轉(zhuǎn)向大模型，我們正奔向大模型時代。

　　曾經(jīng)算力、數(shù)據(jù)、算法是傳統(tǒng)AI的三要素，共同造就了人工智能的廣泛應用。但伴隨著通用人工智能時代(AGI)到來，海量數(shù)據(jù)需要進行大量的訓練和優(yōu)化，以達到更高的預測準確性和泛化能力，對算力的需求早已不可同日而語。

　　在大模型如火如荼之際，算力供給與需求之間存在的巨大“鴻溝”仍在放大，如何解決算力“焦慮”已成為產(chǎn)業(yè)界著力的新目標。

　　算力缺口巨大

　　基于Transformer結構的大模型要不斷優(yōu)化，就需要越來越巨量的參數(shù)“投喂”，由于訓練的參數(shù)量級的增長，致使算力需求也量級增長，算力集群正變得愈發(fā)龐大。

　　以ChatGPT為例，僅就算力而言，OpenAI為了訓練ChatGPT，構建了由近3萬張英偉達V100顯卡組成的龐大算力集群。以半精度FP16計算，這是一個將近4000P的算力集群。

　　有消息稱，GPT-4達到了100萬億的參數(shù)規(guī)模，其對應的算力需求同比大幅增加。數(shù)據(jù)顯示，大模型參數(shù)數(shù)量的增長與算力的平方成正比。

　　隨著投身AI大模型的公司如雨后春筍般涌現(xiàn)，再加上圍繞大模型的人工智能生態(tài)和由此產(chǎn)生的用于推理的算力需求，未來的算力缺口將更加驚人。

　　顯然，算力是否充足將決定各公司大模型產(chǎn)品的成敗。天數(shù)智芯產(chǎn)品線總裁鄒翾認為，對頭部企業(yè)來說，早期的GPT大模型大概需要1萬張的英偉達GPU，但迭代的大模型或至少需要數(shù)千張最先進的GPU才能完成。隨著這一領域出現(xiàn)眾多的跟隨者，對于跟隨企業(yè)來說，勢必要在算力上不能輸于頭部企業(yè)，甚至還要進行更多的算力基礎設施投資才能實現(xiàn)追趕。

　　壁仞科技系統(tǒng)架構副總裁丁云帆在人工智能行業(yè)盛會——北京智源大會發(fā)表《基于高性能通用GPU打造國產(chǎn)大模型訓練系統(tǒng)》的演講時指出，ChatGPT的成功要素在于工程和算法的協(xié)同創(chuàng)新，數(shù)據(jù)是燃料也是基礎，特別是高質(zhì)量的數(shù)據(jù);算法發(fā)揮引擎的作用;算力則是加速器，不止涉及超大GPU集群，存儲與網(wǎng)絡集群也至關重要。

　　由于受禁令影響，國內(nèi)市場需求主力為英偉達針對中國市場推出的A800和H800，隨著需求不斷擴容，英偉達A800價格漲幅驚人，且交貨周期也被拉長，甚至部分新訂單“可能要到12月才能交付”。

　　所幸的是，在通用GPU領域國內(nèi)諸多企業(yè)已率先布局，在芯片量產(chǎn)、生態(tài)構建、應用拓展領域也在步步推進，在劃時代的AIGC產(chǎn)業(yè)興起之際，也迎來了新的市場空間。

　　需算力軟硬一體

　　盡管面臨前所未有的新商機，但要把握住AI大模型的興起機遇，要從底層明了真正支撐大模型的算力需求。

　　對此鄒翾表示，從模型、計算框架層和算子加速等出發(fā)，算力要滿足三大要素，一是通用，可支持模型的快速變形、快速支持新算子、快速支持新通訊;二是易用，可利用現(xiàn)有算法模塊實現(xiàn)、調(diào)優(yōu)經(jīng)驗可借鑒;三是好用，可重構并行計算、訪存全交換、計算全互聯(lián)等。

　　而要實現(xiàn)這三大要素，其實背后透露更本質(zhì)的邏輯。正如昆侖芯研發(fā)總監(jiān)羅航直言，國內(nèi)算力產(chǎn)業(yè)化必經(jīng)三道窄門：一是量產(chǎn)，量產(chǎn)可以極大攤薄先期流片的巨大投入，通過量產(chǎn)攤薄成本是實現(xiàn)盈利的唯一方式，也是衡量芯片成熟度的指標之一;二是生態(tài)，為了讓客戶更好地開發(fā)應用，要著力構建一個合理、合適的軟件生態(tài);三是軟硬一體產(chǎn)品化，要與垂直行業(yè)結合起來實現(xiàn)產(chǎn)品的價值傳遞。

　　此外，為了進一步支持訓練參數(shù)的海量擴展，不僅GPU廠商要有打造數(shù)千至數(shù)萬張GPU卡訓練集群的能力，同時要保證在訓練過程中能連續(xù)工作且不出故障，對產(chǎn)品穩(wěn)定性和可靠性產(chǎn)生極嚴格的要求。同時，還要支持可擴展的彈性能力，實現(xiàn)算力彈性可擴容。

　　丁云帆總結，訓練千億參數(shù)大模型，客戶考量的最主要是要存得下、易擴展，此外還要求易使用、速度快、成本低。

　　值得一提的是，為全面助力大模型的發(fā)展，國內(nèi)包括寒武紀、昆侖芯、燧原、壁仞、天數(shù)智芯、沐曦、摩爾線程等廠商也均圍繞底層技術支撐做了大量功課，通過最大化數(shù)據(jù)復用、可擴展大矩陣計算和存算異步、混合精度Transformer加速來提升芯片性能。同時，持續(xù)在基礎軟件方面提升實力。

　　“壁仞除在GPU算力、成本等方面著力之外，還多維切入提供強大的支撐：一是集群規(guī)模按需擴展，多個數(shù)據(jù)面并行通信，減少沖突;二是可訪問多個機器學習框架，以數(shù)據(jù)并行維度進行彈性調(diào)度，支持自動容錯和擴縮容，大大加快訓練速度，提升效率，并支持任務跨交換機遷移，降低單交換機下資源碎片，提升資源利用率，保障任務穩(wěn)定性。”丁云帆表示。

　　生態(tài)是未來關鍵

　　更深層次來看，國產(chǎn)大模型的訓練既離不開大算力GPU的支持，也更需要構建一個軟硬一體全棧覆蓋的成熟產(chǎn)業(yè)生態(tài)。

　　進行AI大模型訓練，稱得上是一項考驗全面升級的系統(tǒng)工程。丁云帆介紹說，這一工程包含涉及高性能算力集群、機器學習平臺、加速庫、訓練框架和推理引擎等，需要包括CPU、存儲、通信在內(nèi)的分布式硬件支持高效互聯(lián)，并與訓練框架流程實現(xiàn)全面的協(xié)同，同時要實現(xiàn)并行擴展和穩(wěn)定可靠。

　　也正是由于這樣的需求，國產(chǎn)GPU要適應大模型訓練系統(tǒng)考量的角度就不僅限于算力基礎，如何為行業(yè)伙伴提供一站式的大模型算力及賦能服務才是終極考驗，因而生態(tài)構建也至關重要。

　　圍繞這一需求，國內(nèi)一些GPU廠商已然先行布局，致力于打造軟硬一體的全棧大模型解決方案，在包括以大算力芯片為基礎的高性能基礎設施、智能調(diào)度管理數(shù)千GPU卡的機器學習平臺、高性能算子庫和通信庫以及兼容適配主流大模型的訓練框架層面持續(xù)發(fā)力。

　　為共同推進算力與大模型應用的協(xié)同創(chuàng)新，GPU廠商與國產(chǎn)大模型的產(chǎn)業(yè)生態(tài)也在加快合作步伐。

　　據(jù)悉壁仞科技已先后加入了智源研究院FlagOpen(飛智)大模型技術開源體系與智源研究院“AI開放生態(tài)實驗室”項目，并在AI大模型軟硬件生態(tài)建設領域開展了一系列合作。雙方參與的科技部科技創(chuàng)新2030“新一代人工智能”重大項目——“人工智能基礎模型支撐平臺與評測技術”業(yè)已取得重要進展。

　　此外，壁仞科技還參與了“飛槳AI Studio硬件生態(tài)專區(qū)”的建設與聯(lián)合發(fā)布，希望與包括百度飛槳在內(nèi)的眾多生態(tài)合作伙伴緊密協(xié)作，結合中國AI框架與AI算力的優(yōu)勢，為中國AI產(chǎn)業(yè)的發(fā)展提供強大驅(qū)動力。

　　據(jù)介紹，天數(shù)智芯的通用GPU產(chǎn)品廣泛支持DeepSpeed、Colossal、BM Train等各種大模型框架，基于其構成的算力集群方案也有效支持LLaMa、GPT-2、CPM等主流AIGC大模型的Pretrain和Finetune，還適配了清華、智源、復旦等在內(nèi)的國內(nèi)多個研究機構的開源項目。

　　放眼未來，AI大模型需求會持續(xù)走高，國內(nèi)GPU廠商如何持續(xù)迭代產(chǎn)品、不斷升級算力解決方案，適配支持更高效、更復雜算法的大模型，仍將是一項持久的考驗。