后摩爾時(shí)代的關(guān)鍵詞：GPU與Chiplet

　　AI芯片領(lǐng)域當(dāng)之無(wú)愧的領(lǐng)導(dǎo)者英偉達(dá)連續(xù)兩個(gè)季度強(qiáng)勁無(wú)比的業(yè)績(jī)以及極度樂觀的業(yè)績(jī)預(yù)期，很大程度上表明今年第二季度是全球AI技術(shù)全面發(fā)展與擴(kuò)張的開端階段，而不是圍繞科技股的泡沫炒作熱潮。更重要的是英偉達(dá)以強(qiáng)勁的業(yè)績(jī)向世界宣布：全球正式踏進(jìn)AI時(shí)代，以及“算力為王”趨勢(shì)所主導(dǎo)的全新技術(shù)篇章拉開帷幕。

　　隨著近期AI技術(shù)突破，以及AI與應(yīng)用融合趨于完善，全球各企業(yè)競(jìng)相布局以人工智能為代表的先進(jìn)技術(shù)，幫助企業(yè)實(shí)現(xiàn)賦能新業(yè)務(wù)，以及優(yōu)化決策流程和經(jīng)營(yíng)效率，從而催生出對(duì)人工智能更多元的定制化需求。IDC最新數(shù)據(jù)顯示，2022年全球人工智能IT總投資規(guī)模為1288億美元，預(yù)計(jì)2027年增至4236億美元，五年復(fù)合增長(zhǎng)率(CAGR)約為26.9%。

　　隨著全球邁入AI時(shí)代以及萬(wàn)物互聯(lián)進(jìn)程加速，意味著全球算力需求迎來(lái)爆炸式增長(zhǎng)， 尤其是基于AI訓(xùn)練與推理的各項(xiàng)AI細(xì)分任務(wù)涉及大量的矩陣運(yùn)算、神經(jīng)網(wǎng)絡(luò)的前向和反向傳播等對(duì)硬件性能要求極高的計(jì)算密集型高強(qiáng)度操作。然而，這些難題遠(yuǎn)非享受摩爾定律紅利多年的CPU所能夠解決。哪怕大量CPU也無(wú)法解決這一問題，畢竟 CPU設(shè)計(jì)初衷是在多種常規(guī)任務(wù)之間進(jìn)行通用型計(jì)算，而不是處理天量級(jí)別的并行化計(jì)算模式以及高計(jì)算密度的矩陣運(yùn)算。

　　更重要的是，隨著全球芯片領(lǐng)域的創(chuàng)新與發(fā)展步入“后摩爾時(shí)代”(Post-Moore Era)，作為曾推動(dòng)人類社會(huì)發(fā)展主力軍的CPU已經(jīng)無(wú)法實(shí)現(xiàn)像22nm-10nm那樣在不到5年間實(shí)現(xiàn)“闊nm”級(jí)別的快速突破，后續(xù)nm級(jí)別突破面臨量子隧穿等重重阻礙，這也使得CPU性能升級(jí)和優(yōu)化層面面臨極大限制。

　　因此，擁有大量計(jì)算核心、能夠同時(shí)執(zhí)行多個(gè)高密集型AI任務(wù)，并且極度擅長(zhǎng)處理并行計(jì)算的GPU近年來(lái)成為芯片領(lǐng)域的最核心硬件。GPU在AI訓(xùn)練/推理等高性能計(jì)算領(lǐng)域有著其他類型芯片難以企及的巨大優(yōu)勢(shì)，這對(duì)于那些極其復(fù)雜的AI任務(wù)非常重要，比如圖像識(shí)別、自然語(yǔ)言處理和大量矩陣運(yùn)算等。現(xiàn)代GPU架構(gòu)更是經(jīng)過AI針對(duì)性優(yōu)化，適用于深度學(xué)習(xí)等AI任務(wù)。例如，英偉達(dá)Tensor Cores 可以加速矩陣乘法和卷積計(jì)算等非常關(guān)鍵的高強(qiáng)度操作，從而提高計(jì)算效能。

　　AI時(shí)代越來(lái)越龐大的算力需求必然使得終端對(duì)于芯片性能和處理效率要求越來(lái)越高，這就要求晶圓制造商們不斷縮減柵長(zhǎng)—人們所熟知的22nm-10nm跨越指的是柵長(zhǎng)越來(lái)越短。

　　然而，隨著摩爾定律逼近極限，5nm以下制程突破面臨重重阻礙，“Chiplet”先進(jìn)封裝技術(shù)正是在這樣的背景下橫空出世。在Chiplet思路下， 芯片被分割成較小的功能塊或核心，然后將這些“ chiplet 芯片粒”以先進(jìn)封裝技術(shù)集成在一起以構(gòu)建性能更強(qiáng)、更復(fù)雜化的芯片系統(tǒng)。這種思路可以提高設(shè)計(jì)和封裝靈活性，使不同類型的芯片塊可以分別進(jìn)行優(yōu)化和制造，然后再通過先進(jìn)封裝技術(shù)集成在一起，以實(shí)現(xiàn)更高的性能和效率。

　　AI最核心基建——GPU

　　AI時(shí)代算力需求激增，GPU憑借其強(qiáng)大的并行計(jì)算能力，在這個(gè)算力需求爆炸的全新篇章一躍成為整個(gè)芯片領(lǐng)域的C位。

　　以ChatGPT為代表的生成式AI，以及支撐其運(yùn)作的GPT-4大語(yǔ)言模型橫空出世以來(lái)，全球幾乎所有大型科技公司均參與這波布局AI的熱潮，其中包括微軟、谷歌、亞馬遜、甲骨文以及來(lái)自中國(guó)的百度、騰訊、阿里巴巴等等科技巨頭。GPT-4等大語(yǔ)言模型的開發(fā)背后基于“數(shù)據(jù)轟炸般”的AI訓(xùn)練和推理，而這一切都離不開最核心的基礎(chǔ)設(shè)施——AI加速芯片，英偉達(dá)A100/H100 GPU則是AI訓(xùn)練和推理領(lǐng)域目前的首選硬件方案。

　　GPU強(qiáng)勢(shì)崛起，體現(xiàn)出在AI熱潮下，GPU和享受摩爾定律紅利多年的通用型處理器(CPU)之間的地位徹底反轉(zhuǎn)。從上世紀(jì)PC步入千家萬(wàn)戶開始，CPU一直是摩爾定律最大受益者兼芯片制造技術(shù)領(lǐng)導(dǎo)者，其輝煌從PC時(shí)代延續(xù)到了云計(jì)算CPU時(shí)代，同時(shí)也推動(dòng)了PC、智能手機(jī)芯片等領(lǐng)域的技術(shù)發(fā)展。然而自ChatGPT問世以來(lái)，隨著AI對(duì)于全球高科技行業(yè)和技術(shù)發(fā)展的影響力度越來(lái)越大，專注于單線程性能與通用型計(jì)算的CPU仍是芯片領(lǐng)域不可或缺的一環(huán)，但其在芯片領(lǐng)域的地位和重要程度已遠(yuǎn)不及GPU。

　　從理論層面來(lái)看，摩爾定律所預(yù)言的性能指數(shù)級(jí)增長(zhǎng)趨勢(shì)近幾年來(lái)并沒有消失，而是從CPU轉(zhuǎn)到了基于大量核心的GPU。近年來(lái)GPU性能仍在遵循性能指數(shù)增長(zhǎng)規(guī)律，大約2.2年性能就會(huì)翻倍。相比之下，英特爾CPU GFLOPs仍呈增長(zhǎng)趨勢(shì)，但是與GPU GFLOPs相比似乎成了一條直線。

　　近年來(lái)，GPU能夠延續(xù)指數(shù)級(jí)增長(zhǎng)，主要因在人工智能(AI)和深度學(xué)習(xí)方面，通常需要大規(guī)模的并行計(jì)算，其中深度學(xué)習(xí)模型的訓(xùn)練和推理更是涉及大量矩陣操作，這是GPU強(qiáng)項(xiàng)，CPU可謂沒有抗衡之力。GPU的設(shè)計(jì)在于支持大量的計(jì)算核心，這使得它們能夠同時(shí)處理多個(gè)任務(wù)，從而在并行計(jì)算方面表現(xiàn)極其出色。相比之下，通用型CPU設(shè)計(jì)更注重單個(gè)任務(wù)的處理性能，這在處理并行任務(wù)時(shí)受到的限制非常大。

　　此外，現(xiàn)代GPU架構(gòu)針對(duì)并行計(jì)算進(jìn)行了優(yōu)化，如英偉達(dá)NVIDIA CUDA架構(gòu)和AMD的RDNA架構(gòu)。這些優(yōu)化使GPU能夠更高效地執(zhí)行矩陣計(jì)算和卷積計(jì)算等與AI相關(guān)的任務(wù)。

　　目前全球性能最佳且最普及的AI服務(wù)器系統(tǒng)使用多達(dá)8個(gè)英偉達(dá)GPU和1個(gè)AMD或英特爾CPU。英偉達(dá)目前在人工智能GPU市場(chǎng)占據(jù)絕對(duì)的主導(dǎo)地位。“因此，CPU數(shù)量將大幅度減少，而不是數(shù)以百萬(wàn)計(jì)的CPU，但它們將與數(shù)以百萬(wàn)計(jì)的GPU相連。”黃仁勛表示。

　　英偉達(dá)CEO黃仁勛多次強(qiáng)調(diào)，為了充分發(fā)揮人工智能的潛力，客戶越來(lái)越多地轉(zhuǎn)向加速計(jì)算GPU，比如英偉達(dá)旗下的GPU產(chǎn)品。“引爆點(diǎn)(flashpoint)是生成式人工智能。”英偉達(dá)CEO黃仁勛曾表示。“我們知道CPU的算力擴(kuò)展速度已經(jīng)放緩，我們還知道加速計(jì)算是前進(jìn)的道路，然后需要更高算力的殺手級(jí)應(yīng)用程序出現(xiàn)了。”

　　黃仁勛強(qiáng)調(diào)，全球向人工智能的轉(zhuǎn)變現(xiàn)在才剛剛開始。他認(rèn)為，通過將特定任務(wù)分解成更小的部分并且進(jìn)行并行處理來(lái)加速特定任務(wù)的加速計(jì)算正在占據(jù)主導(dǎo)地位。他在英偉達(dá)8月業(yè)績(jī)會(huì)議中表示:“最重要的主題在于，全球計(jì)算機(jī)數(shù)據(jù)中心正在向一種新的模式過渡，從通用計(jì)算轉(zhuǎn)向GPU加速主導(dǎo)的計(jì)算模式。”這位英偉達(dá)聯(lián)合創(chuàng)始人認(rèn)為，全球價(jià)值一萬(wàn)億美元的數(shù)據(jù)中心基礎(chǔ)設(shè)施必須做出這種改變。

　　從市場(chǎng)規(guī)模預(yù)期來(lái)看，知名市場(chǎng)研究機(jī)構(gòu)Mordor Intelligence最新研究顯示，預(yù)計(jì)GPU市場(chǎng)規(guī)模(涵蓋PC、服務(wù)器、高性能計(jì)算、自動(dòng)駕駛等應(yīng)用端GPU)預(yù)計(jì)將從2023年的418.2億美元大幅擴(kuò)張至2028年的1720.8億美元，預(yù)測(cè)期內(nèi)(2023-2028年)復(fù)合增速(CAGR)高達(dá)32.70%。Mordor Intelligence表示，GPU硬件不僅用于渲染圖像、動(dòng)畫和電子游戲，還用于一般性的計(jì)算目的，幾乎部署在全球所有計(jì)算型設(shè)備中。個(gè)人電腦、筆記本電腦和新興應(yīng)用(例如 AR/VR、高性能計(jì)算、人工智能、機(jī)器學(xué)習(xí)、區(qū)塊鏈、加密貨幣挖掘、自動(dòng)駕駛和高精度導(dǎo)航(車輛、機(jī)器人)的積極部署趨勢(shì)，尤其是人工智能領(lǐng)域，未來(lái)將極大力度推動(dòng)GPU需求。

　　相比之下，Mordor Intelligence預(yù)測(cè)數(shù)據(jù)顯示，涵蓋眾多應(yīng)用端的CPU處理器2023-2028年復(fù)合增速僅僅為5.73%。CPU市場(chǎng)規(guī)模擴(kuò)張同樣是蹭到了AI熱度，該機(jī)構(gòu)表示，基于云計(jì)算平臺(tái)的軟件和數(shù)據(jù)中心日益采用服務(wù)器CPU，以及AI帶來(lái)的輔助算力需求為主要推動(dòng)因素。研究機(jī)構(gòu)Acumen Research and Consulting則表示，預(yù)計(jì)到2030年CPU市場(chǎng)規(guī)模將達(dá)到1638 億美元，2022年至2030年復(fù)合年增長(zhǎng)率僅僅為4.5% 。

　　摩爾定律逼近極限，Chiplet先進(jìn)封裝來(lái)“救場(chǎng)”

　　在我們所處的“后摩爾時(shí)代”(Post-Moore Era)，芯片先進(jìn)制程突破面臨極大難度(如量子隧穿效應(yīng))，加之人類社會(huì)步入AI時(shí)代以及萬(wàn)物互聯(lián)趨勢(shì)愈發(fā)明顯，多種任務(wù)帶來(lái)的算力需求可能暴增，比如深度學(xué)習(xí)任務(wù)，以及機(jī)器學(xué)習(xí)、推理、AI驅(qū)動(dòng)的圖像渲染、識(shí)別等。每種任務(wù)對(duì)硬件的性能要求都非常高，這意味著像PC那樣單獨(dú)集成的CPU或GPU已經(jīng)無(wú)法滿足算力需求。

　　因此，Chiplet先進(jìn)封裝技術(shù)應(yīng)運(yùn)而生，該技術(shù)允許將不同的“芯片處理單元”，即將不同的“chiplet芯粒”集成在一起，滿足多樣性的計(jì)算需求，從而更好地優(yōu)化性能。此外，由于AI應(yīng)用的多樣性，往往需要針對(duì)特定任務(wù)進(jìn)行硬件優(yōu)化。不同的處理單元芯片可以專門用于特定類型的計(jì)算，如圖像處理、語(yǔ)音識(shí)別、自然語(yǔ)言處理等，基于Chiplet思路的模塊化設(shè)計(jì)使得能夠針對(duì)每種任務(wù)選擇最佳的處理單元。

　　基于Chiplet先進(jìn)封裝技術(shù)，能夠集成更多的GPU或者其他類型芯片來(lái)滿足越來(lái)越大規(guī)模的算力需求。許多AI任務(wù)涉及大規(guī)模并行計(jì)算，如神經(jīng)網(wǎng)絡(luò)系統(tǒng)訓(xùn)練和推理。GPU等處理器在并行計(jì)算方面表現(xiàn)優(yōu)異，而Chiplet封裝技術(shù)可以使不同的GPU模塊，或者CPU、FPGA、ASIC芯片等在同一個(gè)芯片系統(tǒng)中協(xié)同工作，以提供更大規(guī)模的并行計(jì)算能力。

　　英偉達(dá)所依賴的臺(tái)積電CoWoS封裝技術(shù)正是基于Chiplet思路的先進(jìn)封裝技術(shù)。從H100加速系統(tǒng)的拆解圖來(lái)看，H100利用臺(tái)積電CoWoS封裝技術(shù)集成了SK海力士HBM高性能存儲(chǔ)。 H100 GPU 芯片系統(tǒng)將臺(tái)積電4nm工藝和Chiplet封裝技術(shù)融合。英偉達(dá)通過 Chiplet 技術(shù)將HBM3子系統(tǒng)集成到芯片系統(tǒng)，提供高達(dá)3TB/s超高顯存帶寬，是上一代產(chǎn)品帶寬的近兩倍。同時(shí)借臺(tái)積電4nm制程，無(wú)論是性能還是數(shù)據(jù)傳輸和存儲(chǔ)容量，相較于上一代A100 GPU 芯片都有大幅度提升。

　　Chiplet封裝技術(shù)似乎已經(jīng)成為芯片制造商們的新戰(zhàn)場(chǎng)，英特爾、三星電子和臺(tái)積電紛紛斥巨資投入這一技術(shù)板塊。從芯片產(chǎn)業(yè)鏈的角度來(lái)看，隨著Chiplet封裝技術(shù)越來(lái)越普及，將給整個(gè)產(chǎn)業(yè)鏈帶來(lái)一次革新，尤其是芯片制造設(shè)備商將開拓全新的業(yè)務(wù)方向，為Chiplet封裝提供創(chuàng)新性的制造商支撐。比如，臺(tái)積電等芯片制造商的上游設(shè)備商——全球芯片設(shè)備巨頭應(yīng)用材料近日公布了有關(guān)晶圓Hybrid Bonding、硅通孔(Through Silicon Via)的兩大新技術(shù)，有助于小芯片2.5D、3D Chiplet封裝工藝的提升，新的解決方案擴(kuò)展了應(yīng)用材料異構(gòu)集成技術(shù)(HI)范圍。

　　目前，英特爾正在馬來(lái)西亞檳城興建最新的封裝廠，強(qiáng)化2.5D/3D封裝布局。這將是繼英特爾新墨西哥州及奧勒岡工廠之后，首座在美國(guó)之外采用英特爾Foveros先進(jìn)封裝架構(gòu)的3D封裝廠。英特爾表示，其規(guī)劃到2025年3D Foveros封裝的產(chǎn)能將達(dá)到當(dāng)前水平的四倍。通過多年研究探索，英特爾目前壓注的主要是2.5D EMIB、3D Foveros等多種先進(jìn)封裝，力圖通過2.5D、3D和埋入式等HI技術(shù)形式實(shí)現(xiàn)互連帶寬倍增與功耗減半的目標(biāo)。

　　有媒體報(bào)道稱，三星電子第四代HBM以及封裝服務(wù)已經(jīng)通過AMD測(cè)試。AMD的Instinct MI300系列AI芯片系統(tǒng)計(jì)劃采用三星HBM3及chiplet封裝服務(wù)，該芯片將集成中央處理器(CPU)、圖形處理器(GPU)及HBM3，預(yù)計(jì)今年第四季發(fā)布。為了爭(zhēng)奪未來(lái)chiplet封裝市場(chǎng)份額，三星正在開發(fā)更先進(jìn)的 I-cube 和 X-cube 封裝技術(shù)。三星電子近日更是宣布，將在2025年推出全球首款使用GAA制程的3D先進(jìn)封裝，提供客戶從代工生產(chǎn)到先進(jìn)封裝的配套完整解決方案。目前，芯片代工行業(yè)尚未嘗試結(jié)合GAA制程與3D先進(jìn)封裝，兩種技術(shù)的復(fù)雜性非常高。

　　臺(tái)積電當(dāng)前憑借其領(lǐng)先業(yè)界的先進(jìn)封裝技術(shù)吃下大量的高端芯片封裝訂單，并且先進(jìn)封裝產(chǎn)能已跟不上需求，英偉達(dá)H100無(wú)法滿足需求正是受限于CoWoS先進(jìn)封裝產(chǎn)能。研究機(jī)構(gòu)TrendForce預(yù)計(jì)，下半年CoWoS封裝產(chǎn)能仍然較緊迫，強(qiáng)勁需求將延續(xù)至2024年。

　　英偉達(dá)和AMD的旗艦產(chǎn)品都離不開臺(tái)積電制造以及先進(jìn)封裝技術(shù)的支持。臺(tái)積電正在研究其新的 Chip-On-Wafer-On-Substrate-L (CoWoS-L) 封裝技術(shù)，該技術(shù)將使其能夠構(gòu)建更大的超級(jí)載體中介層。針對(duì)大約2025年前后的需求，臺(tái)積電下一代 CoWoS 技術(shù)將使中介層達(dá)到臺(tái)積電最大標(biāo)線片(reticle)的六倍，高于其當(dāng)前中介層的3.3倍。有業(yè)內(nèi)人士表示，這種技術(shù)級(jí)別的系統(tǒng)級(jí)封裝 (SiP) 旨在供應(yīng)對(duì)性能要求極高的數(shù)據(jù)中心和 HPC 芯片。

　　知名研究機(jī)構(gòu)YOLE Group最新研究報(bào)告顯示，chiplet先進(jìn)封裝正變得越來(lái)越重要，預(yù)2022年至2028年間，先進(jìn)封裝市場(chǎng)復(fù)合年增長(zhǎng)率將達(dá)到10.6%，至786億美元超越傳統(tǒng)封裝市場(chǎng)。相比之下，隨著chiplet先進(jìn)封裝愈發(fā)普及，預(yù)計(jì) 2022 年至 2028 年傳統(tǒng)封測(cè)市場(chǎng)的復(fù)合增速放緩至僅僅 3.2%，期末市場(chǎng)價(jià)值約為575億美元，預(yù)計(jì)將全面落后于先進(jìn)封裝規(guī)模。