從Hotchips看芯片行業(yè)走勢

　　Hotchips是全球*有影響力的芯片會議之一，其主要針對芯片工業(yè)界展示最新的研發(fā)成果，以及披露最新產(chǎn)品中的重要技術(shù)。上周，第34屆Hotchips剛剛落下帷幕，本文將本屆Hotchips中表現(xiàn)出來的業(yè)界動向做一個分析。

　　隨著人工智能等高性能計算應(yīng)用的持續(xù)火熱，這些方向也成為了半導(dǎo)體芯片行業(yè)發(fā)展最重要的驅(qū)動力之一。本屆Hotchips的亮點無疑是支持這些應(yīng)用方向的芯片，尤其是應(yīng)用于邊緣和數(shù)據(jù)中心的這類高性能計算賦能芯片。在本屆Hotchips共兩天七個主題議程中，約有一半的相關(guān)論文和這些高性能計算有關(guān)，涵蓋了GPGPU、機(jī)器學(xué)習(xí)加速、ADAS和高性能網(wǎng)絡(luò)開關(guān)等領(lǐng)域，而這些相關(guān)論文都來自Nvidia、AMD、Intel、Tesla等業(yè)界最*的芯片公司，論文內(nèi)容則是關(guān)于公司最新芯片的關(guān)鍵技術(shù)。這些賦能云端高性能計算的芯片有一個共同的特點，就是規(guī)模越做越大，而本屆Hotchips中我們也可以看到芯片設(shè)計行業(yè)正在使用全新的工具來確保芯片規(guī)模的繼續(xù)上升，而這些工具就是芯片粒/*封裝以及芯片-軟件協(xié)同設(shè)計。如果說基于IP復(fù)用的SoC理念創(chuàng)造了上一代大規(guī)模集成芯片的蓬勃發(fā)展的話，那么芯片粒和軟件協(xié)同設(shè)計將會成為芯片突破集成度瓶頸并進(jìn)一步提升芯片功能和晶體管規(guī)模的下一代支柱。

　　芯片粒是未來高性能芯片的支柱

　　隨著高性能計算對于芯片性能(包括算力、互聯(lián)和內(nèi)存接口)的需求持續(xù)上升，整個芯片系統(tǒng)的晶體管規(guī)模和設(shè)計復(fù)雜度也在相應(yīng)提升。這樣的性能需求上升是指數(shù)級的：以Nvidia的GPU算力為例，一般的規(guī)律是每一代(兩年)GPU的性能相對于上一代提升兩到三倍。為了應(yīng)對指數(shù)級上升的性能需求，芯片系統(tǒng)必須要從兩個方面實現(xiàn)不斷提升，其一是單芯片的性能，其二是可擴(kuò)展性。單芯片的性能提升約等于在芯片中加入更多的晶體管，其主要挑戰(zhàn)在于如何提升良率和降低成本，因為芯片的良率隨著晶體管數(shù)量提升(即芯片面積上升)而快速下降，單純堆積晶體管的做法會導(dǎo)致良率低到無法接受。除此之外，還需要確保芯片系統(tǒng)設(shè)計是可擴(kuò)展的，即可以把多個單元芯片協(xié)同工作以進(jìn)一步提升性能�？蓞f(xié)同性的主要挑戰(zhàn)在于IO帶寬，如果IO成為瓶頸的話，那么多個單元芯片協(xié)同工作的性能并不會比單元芯片強(qiáng)很多。

　　為了解決良率和可擴(kuò)展性的問題，芯片粒加*封裝技術(shù)就成為了目前芯片廠商普遍的答案。在這樣的方案中，首先不再追求每個單元芯片的集成度，而是把單元芯片做成面積較小的芯片粒，這樣芯片粒的良率會遠(yuǎn)遠(yuǎn)高于大芯片。同時，將多個芯片粒用*封裝的技術(shù)集成到一起來實現(xiàn)大規(guī)模芯片系統(tǒng)，由于*封裝技術(shù)同時提供了大帶寬的高性能互聯(lián)，這樣就就解決了可擴(kuò)展性問題。

　　在本屆Hotchips上，我們可以看到芯片粒加*封裝已經(jīng)成為了高性能計算的主流解決方案。Intel的Ponte Vecchio是本屆Hotchips的一大亮點：Ponte Vecchio是Intel的下一代GPU架構(gòu)，其設(shè)計中使用了大規(guī)模芯片粒和*封裝技術(shù)，而在本次Hotchips上Intel公布了Ponte Vecchio的最新架構(gòu)細(xì)節(jié)和相關(guān)數(shù)據(jù)。在Ponte Vecchio中，會有多個Xe 核心使用*封裝(EMIB)的方式組成compute tile，而L2 Cache則有相應(yīng)的一個芯片粒(稱為Cambo cache tile)，并且和compute tile集成到一起。而除此之外，還有HMB和用于芯片間互聯(lián)的Xe Link芯片粒，這些芯片粒組成了整個Ponte Vecchio系統(tǒng)。由于使用芯片粒的方式，我們看到Intel可以在良率可控的情況下加入大量的Xe核和海量緩存(cache)：整個Ponte Vecchio包括了128個Xe核，64MB的register file，64MB的L1 cache和408MB的L2 cache。整個Ponte Vecchio系統(tǒng)可以實現(xiàn)839 TFLOPS的峰值浮點數(shù)算力以及1678 TOPS的峰值整數(shù)算力，在實現(xiàn)如此高算力的超大規(guī)模芯片系統(tǒng)中，芯片粒和*封裝技術(shù)可謂是居功至偉。

　　在Intel的Ponte Vecchio之外，Tesla也公布了其用于人工智能模型訓(xùn)練的Dojo芯片。在Dojo芯片系統(tǒng)中，其基本的計算chiplet是D1，每個D1包括了362TFlops算力和440MB SRAM，同時每個Dojo則包含了25個這樣的D1芯片粒以及40個專用的IO芯片粒，使用TSMC的system-on-wafer技術(shù)集成到一起，從而實現(xiàn)超大算力支持。

　　在Intel和Tesla之外，AMD在本屆Hotchips上也帶來了其MI200系列高算力GPU加速芯片，這也是全球*個使用芯片粒技術(shù)的GPU。AMD將兩塊芯片粒封裝在一起，同時使用400GB/s的高帶寬封裝內(nèi)互聯(lián)確保不同的芯片粒之間能高效互聯(lián)，每個芯片系統(tǒng)包含了580億個晶體管，使用TSMC 6nm制造。MI200是AMD在GPGPU領(lǐng)域的重要布局，我們從中看到芯片粒也起了至關(guān)重要的作用，而在其下一代MI300 GPGPU目前公布的信息來看，AMD將會進(jìn)一步加強(qiáng)芯片粒和*封裝技術(shù)的作用，從而實現(xiàn)更大規(guī)模和更高性能的芯片系統(tǒng)。

　　芯片和軟件協(xié)同設(shè)計將成為主流

　　在芯片粒之外，另一個值得我們關(guān)注的動向是芯片和軟件協(xié)同設(shè)計。如前所述，芯片系統(tǒng)的規(guī)模正在越來越大，模塊越來越多，功能越來越復(fù)雜，如果沒有一個好的軟件系統(tǒng)和生態(tài)的話，具體的應(yīng)用很難充分利用芯片提供的性能，從而看到的就是實際應(yīng)用中的實際性能和芯片的峰值性能相差甚遠(yuǎn)。更進(jìn)一步，隨著人工智能這類算法驅(qū)動類應(yīng)用的火熱，如何結(jié)合算法來做芯片的優(yōu)化和設(shè)計也是進(jìn)一步提升芯片性能的重要方法之一。而我們在本屆Hotchips上也確實看到了軟件和算法相關(guān)優(yōu)化成為了廠商在演講內(nèi)容中的重點。

　　Intel在本屆Hotchips上的Ponte Vecchio演講中，一個重點就是其OneAPI軟件接口以及DPC++工具。OneAPI使用一個API來支持不同的底層硬件，從而理想的情況下無需修改應(yīng)用的軟件代碼，只需要在OneAPI中直接指定相應(yīng)的后端執(zhí)行硬件就可以。OneAPI計劃會支持至少Intel的CPU和GPU，可望大大減少應(yīng)用所需要的軟件工作。另一方面，DPC++則是Intel對于目前CUDA生態(tài)的回應(yīng)，使用DPC++可以將已有的為CUDA編寫的程序直接移植到Intel的GPU上，這樣就大大增加了Intel生態(tài)的吸引力。

　　軟件在Tesla的Dojo芯片中也起到了至關(guān)重要的作用。如前所述，Dojo的設(shè)計牽涉到大量的compute tile，如何在不同的compute tile之間分配任務(wù)就成了決定整體系統(tǒng)性能的關(guān)鍵;除此之外，如何在不同的Dojo芯片之間分配任務(wù)也決定了整體系統(tǒng)的可擴(kuò)展性。在Tesla的解決方案中，編譯器軟件將會確保將模型并行化處理并且加載到不同的compute tile中，同時盡量保證模型需要的數(shù)據(jù)都能裝入片上SRAM中以保證性能降低對外部DRAM的依賴。除了編譯器之外，Tesla在軟件-芯片協(xié)同設(shè)計中另一個值得一提的是使用了獨特的數(shù)值表示方式，在常見的FP16和BFP16之外還支持自研的CFP8和CFP16格式的數(shù)值表示方式并且在芯片中做了相應(yīng)支持。根據(jù)Tesla公布的材料使用CFP8和CFP16可以獲得更好的模型訓(xùn)練效果，而這也是軟件-芯片協(xié)同設(shè)計的很好例子。

　　在Intel和Tesla之外，在本屆Hotchips上和AI相關(guān)的演講幾乎都會涉及軟件-芯片協(xié)同設(shè)計，其中包括了業(yè)界巨頭如Nvidia(Hopper GPU中使用了FP8和Transformer Engine)，以及新銳初創(chuàng)公司如Untether AI(公布了UAI FP8數(shù)制和imAIgine SDK)和壁仞(TF32+數(shù)制和BIRENSUPA軟件平臺)。我們認(rèn)為，軟件-芯片協(xié)同設(shè)計正在成為芯片行業(yè)進(jìn)一步推動芯片規(guī)模更上一個臺階背后的重要支柱之一，只有在有了強(qiáng)而有力的軟件支持，以及對于算法的深入理解后，芯片規(guī)模進(jìn)一步提升才會有相應(yīng)的回報。