英偉達(dá)沒有“魔法” 但如何打敗它

　　“根本不可能超越英偉達(dá)。”資深芯片投資人思杰斬釘截鐵地說，“就算AMD有比英偉達(dá)參數(shù)更強(qiáng)的芯片，也無法撼動(dòng)英偉達(dá)在AI市場(chǎng)的地位。”

　　這幾乎是AI芯片從業(yè)者的共識(shí)，無論是芯片巨頭，還是有技術(shù)大牛的美英初創(chuàng)公司，想要坐上英偉達(dá)統(tǒng)治的加速計(jì)算的牌桌，和英偉達(dá)正面對(duì)抗的機(jī)會(huì)不大。

　　但如果商業(yè)競(jìng)爭(zhēng)受到非商業(yè)力量的影響，就可能出現(xiàn)例外。

　　10月17號(hào)，美國商務(wù)部工業(yè)和安全局(BIS)更新的針對(duì)中國的AI芯片出口管制規(guī)定，給了國產(chǎn)高性能AI芯片公司一個(gè)趕超英偉達(dá)的機(jī)會(huì)。

　　“美國最新的出口管制規(guī)定發(fā)布后，許多客戶來主動(dòng)聯(lián)系我，其中就有之前態(tài)度冷淡的客戶。”AI芯片公司的銷售安瑞明顯感覺到，“買不到英偉達(dá)GPU的時(shí)候，客戶考慮的不是誰更好用，而是誰能用。”

　　進(jìn)一步收緊的禁令，給國內(nèi)高性能AI芯片公司當(dāng)頭一棒，也限制了英偉達(dá)在中國市場(chǎng)的發(fā)展。

　　“我們必須放棄一切幻想，做國產(chǎn)替代。”這是美國最新的禁令之后在AI芯片圈常聽到的一句話。

　　在芯片領(lǐng)域做國產(chǎn)替代，是一條無比艱難的路，但必須走上這條路的時(shí)候，國內(nèi)AI芯片的從業(yè)者們都在琢磨一條趕超英偉達(dá)的路徑。你心中的路徑是什么?歡迎添加作者微信BENSONEIT探討。

　　有人認(rèn)為走一條完全不同的路才有超越的機(jī)會(huì)。

　　有人認(rèn)為用英偉達(dá)的魔法也能打敗英偉達(dá)。

　　還有人想到了商業(yè)模式創(chuàng)新的超越機(jī)會(huì)。

　　雖各持己見，但他們都非常清楚，要想要活下來，必須卷成本、卷軟件，解決生產(chǎn)問題。

　　放棄一切幻想，國產(chǎn)芯片是唯一解

　　10月17日美國新的出口管制規(guī)定一發(fā)布，讓本就搶手的英偉達(dá)H800 GPU坐上了過山車。

　　一卡難求的8卡H800 GPU服務(wù)器在禁令更新前價(jià)格已經(jīng)高達(dá)210萬元左右，美國禁令發(fā)布當(dāng)天，價(jià)格馬上躍升到了230-250萬元。

　　一周之后，美國突然宣布本來在11月才生效的管制規(guī)定立即生效，瞬間將H800GPU服務(wù)器的價(jià)格推向頂峰，跳漲到350萬元，相比禁令升級(jí)前的210萬元，漲幅高達(dá)67%。

　　如今價(jià)格雖然稍微有所下降，但依舊在310-330萬元的高位。

　　“10月底和11月，客戶基本都在忙著搶貨。搶不到貨之后，大家都來認(rèn)真談國產(chǎn)芯片。”熟悉芯片市場(chǎng)的語晨同時(shí)看到，“美國的禁令就是一套組合拳，誰也無法忍受美國的朝令夕改，AI芯片公司不得不認(rèn)真考慮下一代產(chǎn)品的方向，也要考慮國內(nèi)代工的可能性。”

　　雷峰網(wǎng)了解到，10月17日的禁令升級(jí)之后，多家AI芯片公司都不得不改芯片設(shè)計(jì)，以符合美國新規(guī)的要求。

　　這次禁令進(jìn)一步收緊，影響的范圍比以往更大。

　　“2019年美國芯片禁令引發(fā)軒然大波的時(shí)候我已經(jīng)在AI芯片行業(yè)，那時(shí)候還沒有感受到AI芯片對(duì)我們來說生死攸關(guān)。”芯片軟件工程師浩鑫這一次感受到，“如果我們沒有強(qiáng)大的AI芯片，就可以被別人掐死，這事關(guān)民族的命運(yùn)。”

　　在芯片行業(yè)十多年的子蕾同樣感觸頗深，“從美國的限制也可以看出，美國政府已經(jīng)預(yù)判AI代表了真正的生產(chǎn)力，這是兵家必爭(zhēng)之地。”

　　“我不知道最后誰能贏，但我知道如果我們輸了會(huì)很慘，不僅會(huì)失去在科技上的領(lǐng)導(dǎo)力，還可能會(huì)被AI替代。”子蕾非常堅(jiān)定，“不管是為了自己還是為了下一代，我們都必須站起來卷。”

　　美國和英國的公司，也和國內(nèi)AI芯片公司一同被打了當(dāng)頭一棒。

　　英國初創(chuàng)公司Graphcore是少有的在國內(nèi)有成建制團(tuán)隊(duì)的AI芯片公司，禁令發(fā)布之后，由于其芯片的特點(diǎn)，修改設(shè)計(jì)將使其產(chǎn)品不具備在中國市場(chǎng)的競(jìng)爭(zhēng)力，Graphcore的員工的工作幾乎就處于停滯狀態(tài)，最后不得不解散中國團(tuán)隊(duì)。

　　英偉達(dá)同樣被禁令限制，中國市場(chǎng)每年為英偉達(dá)的數(shù)據(jù)中心業(yè)務(wù)貢獻(xiàn)上百億美元的營收，不能向中國市場(chǎng)銷售利潤(rùn)可觀的高性能芯片，短期看是英偉達(dá)營收的損失，長(zhǎng)期看是對(duì)中國市場(chǎng)的失控。

　　這也是英偉達(dá)一直在積極推出符合美國法規(guī)限制芯片的原因。

　　“H20性能是H800的1/5左右，但價(jià)格不會(huì)太便宜，因?yàn)檎加玫氖荋800的產(chǎn)能，可能價(jià)格是H800的1/2或者2/3，這樣的產(chǎn)品對(duì)于客戶來說不夠有吸引力，國內(nèi)公司購買這樣的產(chǎn)品也難以和美國公司競(jìng)爭(zhēng)。”語晨還說，“預(yù)計(jì)能在今年底送測(cè)的H20，現(xiàn)在也要推遲到明年上半年了，這是國產(chǎn)芯片的機(jī)會(huì)。”

　　最強(qiáng)大的對(duì)手也被限制，AI又是不容落后的產(chǎn)業(yè)，國內(nèi)的AI公司已經(jīng)沒有其它選擇，必須放棄一切幻想，把國產(chǎn)芯片做起來。

　　禁令利空所有人，除了華為

　　就像中國的AI芯片公司是追趕英偉達(dá)的唯一機(jī)會(huì)是個(gè)例外，華為也是這次禁令限制下的例外。

　　2019年開始，華為就被美國限制，從那時(shí)開始，華為就開始了國產(chǎn)化，比這一次受影響的國內(nèi)AI芯片公司早4年開始做國產(chǎn)替代，讓其昇騰AI芯片也成為了這一次被爭(zhēng)相購買的對(duì)象。

　　科大訊飛在2023第三季度業(yè)績(jī)說明會(huì)上公開表示，華為昇騰910B已經(jīng)基本做到可對(duì)標(biāo)英偉達(dá)A100。

　　“這說明華為在某些地方做的確實(shí)不錯(cuò)。”芯片算法工程師奕森直言，“對(duì)于使用DSA(領(lǐng)域?qū)Ｓ?架構(gòu)的華為來說，芯片的范化性是一個(gè)問題。”

　　DSA可以視作為某一類模型專門設(shè)計(jì)的芯片，“其范化性體現(xiàn)在局部上，如果專為某一類模型設(shè)計(jì)的DSA芯片在這類模型的范化性還不夠好，那就說明軟件工作還沒做到位。”奕森認(rèn)為。

　　這就涉及到軟件成熟度以及生態(tài)的問題，也就是英偉達(dá)的護(hù)城河所在。對(duì)于華為能否基于其自研架構(gòu)，構(gòu)建起像英偉達(dá)一樣強(qiáng)大的軟件生態(tài)，浩鑫和語晨有不同的看法。

　　“在2017年Caffe是主流AI框架的時(shí)候，英特爾花了大量的精力去做OpenCL版本的Caffe，目的就是希望讓更多開發(fā)者使用，以搶占AI市場(chǎng)。”浩鑫說，“但因?yàn)橹挥杏⑻貭柸ゾS護(hù)這套東西，最終還是沒有撼動(dòng)英偉達(dá)的地位。所以即便華為花大量的人力和資源去做算法和應(yīng)用的適配，也很難構(gòu)建起強(qiáng)大的生態(tài)。”

　　語晨認(rèn)為昇騰至少能在國內(nèi)的政企市場(chǎng)成功。

　　“考慮到國內(nèi)的特殊情況，政企市場(chǎng)在必須考慮國產(chǎn)替代的背景下，華為至少可以在這個(gè)市場(chǎng)大量投入，讓其昇騰芯片用起來。”語晨也說，“至于在商業(yè)化市場(chǎng)能否成功，現(xiàn)在還不好做出判斷。”

　　從芯片的設(shè)計(jì)、公司所擁有的資源等因素綜合考慮，華為是目前AI訓(xùn)練市場(chǎng)最有機(jī)會(huì)的中國公司。

　　非常熟悉AI芯片領(lǐng)域的云碩做出了樂觀預(yù)測(cè)，“未來國內(nèi)AI訓(xùn)練市場(chǎng)屬于華為，非中國市場(chǎng)屬于英偉達(dá)。”

　　但這有個(gè)前提，華為要順利解決芯片制造的問題。

　　按照思杰的樂觀估計(jì)，國內(nèi)要擴(kuò)產(chǎn)14nm芯片產(chǎn)線最快也要到2025年之后。國內(nèi)14nm還不成熟，并且涉及到半導(dǎo)體材料和設(shè)備的出口管制，需要時(shí)間。

　　“良率也非常關(guān)鍵，直接影響著最終的成本，這是在商業(yè)市場(chǎng)競(jìng)爭(zhēng)的基礎(chǔ)。”思杰態(tài)度明確，“不過每年國內(nèi)半導(dǎo)體材料和設(shè)備的公司都能給我一些驚喜，所以雖然短期悲觀，但我長(zhǎng)期依舊看好。”

　　華為取得的成果，讓那些想要通過創(chuàng)新趕超英偉達(dá)的人和公司有了信心。

　　英偉達(dá)沒有魔法，用架構(gòu)創(chuàng)新追趕

　　“ChatGPT對(duì)GPU的利用率只有個(gè)位數(shù)，對(duì)計(jì)算是巨大的浪費(fèi)。”云碩指出，“不合理的存算比不利于生成式AI的普及。”

　　幾十年沒變的計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)迫切需要改變，這也是追趕英偉達(dá)的機(jī)會(huì)。

　　“大模型對(duì)于算力的需求呈現(xiàn)指數(shù)型增長(zhǎng)，但GPU又貴功耗又高，GPU集群的線性度也隨規(guī)模增大而下降，探索非馮諾依曼架構(gòu)已經(jīng)非�；馃�。”奕森早已體會(huì)到。

　　存算一體就是一種解決AI計(jì)算存算比不合理的思路，有一家國內(nèi)頭部互聯(lián)網(wǎng)公司就在積極引入存算一體解決算力成本的問題。

　　“存算的架構(gòu)就適合大模型計(jì)算，因?yàn)榇嫠阋惑w的架構(gòu)計(jì)算密度低，存儲(chǔ)密度高。”奕森看到了存算一體架構(gòu)在大模型時(shí)代的優(yōu)勢(shì)。

　　但這只是理論，“存算的大規(guī)模落地還要解決很多生產(chǎn)制造方面的問題。”奕森也看到了存算面臨的挑戰(zhàn)。

　　如果將存算一體視作一種特殊的DSA，和華為的昇騰一樣，同樣面臨著范化性和生態(tài)的挑戰(zhàn)。

　　AI訓(xùn)練一定需要一個(gè)范化能力很強(qiáng)的系統(tǒng)，但到底要達(dá)到什么程度的范化性，有所爭(zhēng)論。浩鑫堅(jiān)持認(rèn)為必須是英偉達(dá)GPGPU的生態(tài)，奕森則認(rèn)為只要有足夠范化性就可以。

　　許多人和奕森的觀點(diǎn)相似，于是就產(chǎn)生了CPU+DSA這種兼顧通用性和高性能，超越英偉達(dá)的思路。

　　“Pytorch原生就支持x86 CPU，英特爾本來有最好的機(jī)會(huì)通過CPU+DSA的路徑趕超英偉達(dá)，不知道為什么英特爾沒做成。”云碩有些不解。

　　子蕾也認(rèn)為x86 CPU有很好的機(jī)會(huì)，“一般來說，一個(gè)模型調(diào)試階段都是用CPU，用CPU上的精度作為在GPU上運(yùn)行的精度要求，x86 CPU的生態(tài)非常好，結(jié)合加速器做加速很有機(jī)會(huì)，英特爾確實(shí)也有推出產(chǎn)品，只是可能之前沒有押注大模型。”

　　CPU除了x86，還有Arm和RISC-V，RISC-V CPU是國內(nèi)公司探索CPU+DSA路徑的最佳選擇。

　　由于RISC-V開源的特性，能夠更積極響應(yīng)市場(chǎng)需求。“看起來是RISC-V的CPU核心，實(shí)際上是AI核心，已經(jīng)有公司使用RISC-V開始了探索。”子蕾觀察到。

　　即便CPU+DSA的路徑可以兼顧通用性和高性能，但英偉達(dá)最難以超越的還是CUDA生態(tài)，這是擺在想要走這條路線公司面前最難解決的問題。

　　子蕾對(duì)此并不悲觀，“英偉達(dá)也沒有什么魔法，CUDA生態(tài)也是英偉達(dá)一個(gè)個(gè)項(xiàng)目的實(shí)際經(jīng)驗(yàn)，和模型適配積累出來的，硬件每?jī)赡昃偷�代一代，能�?fù)用的經(jīng)驗(yàn)有限，軟件的經(jīng)驗(yàn)可以不斷積累。如果我們認(rèn)定國內(nèi)一定要做出非GPU的生態(tài)，長(zhǎng)期看，我相信我們能做出來。”

　　相較之下，浩鑫就有些悲觀，“英偉達(dá)的CUDA生態(tài)做了十幾年，而且是在全球客戶的需求之下一點(diǎn)點(diǎn)建立起的生態(tài)，就算有中國的客戶需求，有決心和耐心，也很難建立起和英偉達(dá)CUDA生態(tài)相當(dāng)?shù)纳鷳B(tài)。”

　　浩鑫也不是完全悲觀，“國內(nèi)公司也可以聯(lián)合起來做一套相對(duì)開放的類CUDA生態(tài)。”雷峰網(wǎng)了解到，有人在嘗試?yán)瓟n國內(nèi)的DSA路線的公司共建生態(tài)。

　　殘酷的現(xiàn)實(shí)是，有的走DSA路線的公司，在一次次實(shí)際落地項(xiàng)目中遷移難度大的困難之下，已經(jīng)開始想辦法兼容英偉達(dá)CUDA生態(tài)。更多細(xì)節(jié)可以添加作者微信BENSONEIT互通有無。

　　用英偉達(dá)的「魔法」，趕超英偉達(dá)？

　　對(duì)于走英偉達(dá)CUDA兼容的路線，有一種觀點(diǎn)，沿著英偉達(dá)的路永遠(yuǎn)不可能超越英偉達(dá)，當(dāng)然這種觀點(diǎn)大都來自走DSA路線的人。

　　“如果連追趕都做不到，何談超越?”浩鑫堅(jiān)持，“我不認(rèn)為做CUDA兼容就不能超越英偉達(dá)。”

　　追趕和超越的機(jī)會(huì)來自英偉達(dá)面臨的難題。

　　沒有人會(huì)否認(rèn)英偉達(dá)已經(jīng)在AI領(lǐng)域有顯著的優(yōu)勢(shì)，并且沒有絲毫松懈的狀態(tài)，是一個(gè)非常難以挑戰(zhàn)的對(duì)手。

　　但自英偉達(dá)2017年發(fā)布Volta架構(gòu)GPU，增加了專用加速核心Tensor Core之后，英偉達(dá)此后每一代GPU的性能提升主要來自專用計(jì)算單元的部分。

　　“英偉達(dá)算力的增長(zhǎng)也在放緩，其解決的辦法不是在通用計(jì)算單元上發(fā)力，而是在專用計(jì)算單元上。”浩鑫發(fā)現(xiàn)，“即便是英偉達(dá)，開發(fā)者也很難用起其專用加速單元，英偉達(dá)也推出專門的加速庫。”

　　順著這個(gè)思路，把英偉達(dá)的CUDA生態(tài)看作兩大部分，一個(gè)是基于通用計(jì)算單元CUDA Core的生態(tài)，另一個(gè)是以Tensor Core為代表的專用加速生態(tài)。

　　“我們做CUDA兼容可以只兼容CUDA Core的部分，Tensor Core的生態(tài)可以不做兼容。”浩鑫解釋，“做英偉達(dá)CUDA Core生態(tài)兼容，可以降低客戶的遷移難度。專用加速計(jì)算單元就是追趕和超越的機(jī)會(huì)。”對(duì)于這個(gè)觀點(diǎn)的討論，可以加作者微信BENSONEIT。

　　這個(gè)思路和用DSA超越的思路有相似之處，都是從專用加速方面切入，設(shè)計(jì)出比英偉達(dá)專用加速單元更好的架構(gòu)。

　　“GPU也是特定時(shí)期設(shè)計(jì)出的產(chǎn)品，一定有它的局限性。”奕森也說。

　　語晨也認(rèn)為做CUDA兼容有超越英偉達(dá)的機(jī)會(huì)，不過他是從推理性價(jià)比的角度。

　　“AI推理需求可能是訓(xùn)練需求的3-5倍，通過CUDA兼容，完全可以針對(duì)常用的大模型進(jìn)行推理優(yōu)化，實(shí)現(xiàn)相比英偉達(dá)幾倍的推理性價(jià)比。”語晨說，“在商業(yè)競(jìng)爭(zhēng)中，同等條件下比的就是性價(jià)比，CUDA兼容是很重要的條件。”

　　“一旦國內(nèi)公司用上了國產(chǎn)GPU，就很難再切換回去。”浩鑫的想法是，“兼容CUDA是為了讓用戶更方便遷移，后續(xù)的特性演進(jìn)完全可以和英偉達(dá)不一樣，并且用戶會(huì)跟隨硬件供應(yīng)商。”

　　這也解釋了一個(gè)疑問，國產(chǎn)AI芯片公司兼容CUDA生態(tài)是不是在幫英偉達(dá)建生態(tài)?

　　這就像是WPS兼容Word，不兼容Word沒人會(huì)用，但WPS兼容Word的初衷并沒有幫Word建生態(tài)的想法，即便會(huì)有這樣的效果，但這種貢獻(xiàn)對(duì)Word的生態(tài)微不足道。

　　“CUDA兼容如果有1%沒做好，就會(huì)有沒法補(bǔ)上的漏洞。并且，兼容CUDA永遠(yuǎn)會(huì)比英偉達(dá)慢很多拍，處于被動(dòng)地位。”奕森說不能忽視CUDA兼容的問題，“國家搞自主可控，CUDA兼容屬于自主可控嗎?”

　　看起來，通用+專用的AI計(jì)算架構(gòu)已經(jīng)成為行業(yè)共識(shí)，彼此都在相互滲透和影響，很難判斷哪條路徑更優(yōu)。

　　無論哪條路徑，都要共同面對(duì)一個(gè)問題——英偉達(dá)沒有制造問題，也有比所有國內(nèi)AI芯片公司多的資源，有全球頂尖的人才，在什么樣的情況下有追趕和超越的機(jī)會(huì)?

　　不學(xué)英偉達(dá)賣整機(jī)，尋找商業(yè)模式創(chuàng)新的機(jī)會(huì)

　　理論上優(yōu)秀的技術(shù)并不意味著最終會(huì)成功，歷史已經(jīng)無數(shù)次驗(yàn)證，商業(yè)和競(jìng)爭(zhēng)影響成敗。

　　“我們不應(yīng)該學(xué)英偉達(dá)。”云碩解釋，“國內(nèi)的AI芯片公司幾乎都在學(xué)英偉達(dá)做整機(jī)，這確實(shí)有高校和政企客戶的需求，芯片公司也能做高營收。英偉達(dá)可以做整機(jī)賺更高利潤(rùn)，但我們不應(yīng)該這么做。”

　　英特爾能夠在IBM統(tǒng)治的大型機(jī)時(shí)代成功，是因?yàn)橛⑻貭栔蛔隽俗铍y做的CPU，橫向整合，和微軟、戴爾、Oracle等公司一起搶占了IBM的市場(chǎng)。Arm更極致，只做了核心的芯片的IP，和谷歌安卓、不同芯片公司和OEM一起，成為了手機(jī)時(shí)代的王者。

　　“英偉達(dá)的GPU不單賣，必須是一個(gè)主板加8張GPU卡一起賣�；蛘咧苯淤u一個(gè)DGX整機(jī)，DGX的高毛利意味著整機(jī)中的機(jī)箱、風(fēng)扇等也毛利豐厚，幫英偉達(dá)提升整體毛利。”云碩認(rèn)為，“這就是國產(chǎn)AI芯片公司的機(jī)會(huì)，國產(chǎn)芯片公司如果能夠?qū)Ｗ⒃诖蚰バ酒�性能和SDK上，聯(lián)合上下游產(chǎn)業(yè)鏈一起去做產(chǎn)品，從商業(yè)的角度找機(jī)會(huì)超越英偉達(dá)。”

　　“單賣芯片可能連自己都養(yǎng)不活。而且要做一顆能適配各種系統(tǒng)的芯片，對(duì)芯片團(tuán)隊(duì)的要求特別高。”子蕾對(duì)于Arm的成功這樣看，“Arm成功并不是因?yàn)樗麄冏隽薎P，關(guān)鍵在于智能手機(jī)時(shí)代在一眾操作系統(tǒng)的激烈競(jìng)爭(zhēng)之后，最終成功的安卓和iOS，都選擇了Arm芯片，一旦系統(tǒng)和芯片深度適配之后，就很難改變，這幫助了Arm走向成功。”

　　“英偉達(dá)就是AI領(lǐng)域的Arm+安卓，我不認(rèn)為這種思路能成功。”語晨這樣認(rèn)為。

　　奕森倒是有更開放的態(tài)度，雖然不見得是英特爾或者Arm帶來顛覆的思路，但商業(yè)模式創(chuàng)新一定是一種超越的思路。

　　就像對(duì)商業(yè)模式創(chuàng)新是否是超越英偉達(dá)路徑的討論一樣，禁令之后，國內(nèi)的AI芯片從業(yè)者更加意識(shí)到自己所從事的行業(yè)和工作的重要價(jià)值，對(duì)于國內(nèi)高性能AI芯片公司更加樂觀，這種樂觀也有對(duì)生成式AI發(fā)展對(duì)算力需求的樂觀。

　　這種背景之下，所有人都被限制，琢磨出一條超越英偉達(dá)的策略很重要，更現(xiàn)實(shí)的問題是要卷軟件、卷成本、解決制造問題。

　　當(dāng)然，對(duì)于所有AI芯片公司都需要先活下去，再談追趕和超越。國產(chǎn)高性能AI芯片一直都是討論的焦點(diǎn)，關(guān)于這個(gè)話題更多的交流請(qǐng)?zhí)砑幼髡呶⑿臖ENSONEIT。

　　文中思杰、安瑞、語晨、浩鑫、子蕾、奕森、云碩均為化名