從AMD的“小芯片”設(shè)計，談?wù)勂胶獾膬?nèi)存配置

　　黃瑤

　　Title:戴爾易安信提供AMD第二代EPYC產(chǎn)品組合

　　AMD,YES!

　　AMD,真香!

　　如果你關(guān)注CPU,這兩句話想必再熟悉不過了吧

　　的確,AMD近幾年在CPU領(lǐng)域

　　可謂是大放異彩

　　不僅是消費級和企業(yè)級市場

　　在資本市場也備受熱捧

　　其股價六年翻了近20倍

　　并創(chuàng)下20年新高

　　作為一家芯片制造商

　　AMD的異軍突起

　　必然和自家芯片脫離不了關(guān)系

　　今天,我們就來談點干貨

　　聊一聊芯片設(shè)計

　　“小芯片”

　　讓AMD實現(xiàn)彎道超車

　　在10nm及以下的硅制程工藝的推動下,CPU核心數(shù)量,高速I/O通道,DDR通道,嵌入式內(nèi)存和其他功能的增長速度遠超歷史。使用傳統(tǒng)的單片CPU芯片(Monolithic die)架構(gòu)和實施,從產(chǎn)量和成本的角度來看將越來越難。

　　業(yè)界需要新的硅和基板封裝方法可以確保未來的CPU能夠經(jīng)濟地擴展。盡管多芯片模塊(MCM)已經(jīng)存在了好幾代,但通常用于將封裝內(nèi)的多個分立器件管芯連接在一起,以節(jié)省空間或改善信號完整性。并且芯片間互連的寬度受到限制,需要大功率I/O驅(qū)動器或SerDes。

　　如今芯片和封裝方面的改進允許設(shè)備或元素(例如服務(wù)器CPU“管腳”或“SOC”)由多個子CPU硅芯片組成,通常稱為小芯片(chiplets),從而彌補了以往明顯的性能或功耗缺點,成為近年來的大熱門。

　　CPU芯片設(shè)計的演進如下圖所示▼

　　❑ 近年來最成功的Chiplet設(shè)計,無疑就是AMD的第二代EPYC服務(wù)器CPU(代號“羅馬”)。一個IO芯片(IOD)和多達八個8核CPU高速緩存芯片(CCD)布置在CPU封裝基板上,從而實現(xiàn)了互連。

　　因為CPU是由單個整體式芯片制成,CCD和IOD不會對CPU造成任何明顯的延遲或帶寬影響。同時,由于單個CCD和IOD芯片的尺寸只是等效單片芯片的尺寸的一小部分,因此可以實現(xiàn)芯片成品率的大幅提高。

　　此外,這種“小芯片”方法允許CCD使用比IOD更先進的硅工藝,從而節(jié)省更多成本。

　　❑ 另一個例子是英特爾最近宣布的EMIB(嵌入式多管芯互連橋)和Foveros(2D和3D管芯封裝和堆疊)技術(shù)。

　　EMIB只需要一個小的嵌入式硅片連接,即可將兩個小芯片綁在一起,并具有高帶寬和短距離。如今,EMIB已用于英特爾的FPGA和Kaby Lake-G中,從而將GPU連接至封裝內(nèi)的高帶寬內(nèi)存。

　　而Foveros是一種硅堆疊技術(shù),它使用TSV(通過硅通孔),例如,可以有效地連接獨立的IO,內(nèi)核和內(nèi)存芯片。

　　“小芯片”

　　也帶來了NUMA問題

　　隨著CPU以及GPU,FPGA,AI/ML芯片繼續(xù)集成大量的計算元素,異構(gòu)計算元素,封裝內(nèi)存(如DRAM、HBM、SCM等)和IO技術(shù),對"小芯片"式封裝的需要已成為提高產(chǎn)量、上市時間、開發(fā)風(fēng)險和更多線性計算成本的必要條件,這將推動客戶采用。

　　但是針無兩頭利,“小芯片”設(shè)計在帶來可擴展性和經(jīng)濟性的同時,也復(fù)雜化了NUMA問題。非均勻的內(nèi)存訪問(NUMA)是計算機體系架構(gòu)永恒的的話題,下圖簡單描述了該問題

　　針對該問題,各種軟件調(diào)優(yōu)措施應(yīng)運而生:調(diào)BIOS,調(diào)OS,調(diào)應(yīng)用軟件。

　　如下圖服務(wù)器BIOS設(shè)置▼

　　❶ 操作系統(tǒng)關(guān)閉NUMA操作:

　　https://www.cnblogs.com/digdeep/p/10013779.html

　　❷ 數(shù)據(jù)庫啟用NUMA的調(diào)整,如下鏈接:

　　Enable Oracle NUMA support with Oracle Server Version 11gR2

　　注:示例存檔版本偏低,對應(yīng)的Oracle版本可以在官網(wǎng)找到對應(yīng)的KB)https://support.oracle.com/knowledge/Oracle%20Cloud/864633_1.html

　　MySQL也是如此,請關(guān)注我們后續(xù)的文章

　　但是!但是!很多人甚至軟件專家都忘了,軟件NUMA調(diào)優(yōu)的前提是:平衡的內(nèi)存配置。合理的CPU/內(nèi)存配比才是后續(xù)軟件調(diào)優(yōu)的基礎(chǔ)!不然再怎么調(diào)也于事無補。

　　我們還是以AMD羅馬CPU為例▼

　　第二代AMD EPYC 7002 CPU的硅封裝由9個MCM組成。其中的8個MCM分為4個象限,每個象限最多具有2個CCDs。所有4個象限的CCD通過1個中央I/ODie(IOD)的IO模塊通信。單個象限CCDs上的所有內(nèi)核共享兩條最近的內(nèi)存通道。其余的內(nèi)存通道需穿過IOD,有較高的內(nèi)存延遲(NUMA問題)。

　　根據(jù)第二代EPY CCPU的設(shè)計理念,滿配16條同樣的內(nèi)存無疑會取得最佳性能,第二選擇是占據(jù)每個通道的8條同色系的同樣內(nèi)存,如下圖的A1-A8。

　　上述兩種情況是最優(yōu)配置。所謂的平衡內(nèi)存配置是除上述兩種情況之外的次優(yōu)配置,其宗旨是用足本象限內(nèi)的兩條內(nèi)存控制器以取得最佳的本地內(nèi)存訪問性能,不考慮遠端內(nèi)存訪問以減少內(nèi)存數(shù)量。

　　不同CPU有不同的推薦,推導(dǎo)過程留給感興趣的朋友,這里直接給出結(jié)論▼

　　為便于大家理解還是貼出了最后三行所列CPU的架構(gòu)圖如下,你品,你細品。

　　看明白了那是真搞明白了Chiplet帶來的NUMA新問題。

　　相對,這代的Intel至強(SP2)還是傳統(tǒng)的單個大芯片(Monolithic die)設(shè)計,NUMA問題要簡單的多,最佳/平衡的內(nèi)存配置是12/6條內(nèi)存/CPU,不論CPU是鉑金,金還是銀銅。很多用戶只關(guān)心內(nèi)存的容量而忽略了數(shù)量的重要性。

　　舉個例子,4條16GB內(nèi)存的配置在絕大多數(shù)場景性能是要大大優(yōu)于單條64GB內(nèi)存的,原因是占據(jù)更多的內(nèi)存通道并且部分規(guī)避了NUMA問題。你要問非平衡的內(nèi)存配置性能有多差,Intel給出了下圖。

　　最后打一下廣告。戴爾易安信提供業(yè)界最全的AMD第二代EPYC產(chǎn)品組合,包括單插槽PowerEdge服務(wù)器R6515和R7515,兩路服務(wù)器R6525和R7525,以及計算密集型服務(wù)器C6525,各種配置以供不同選擇。無論醫(yī)療、教育,還是計算密集型領(lǐng)域都能發(fā)揮的游刃有余、恰到好處。

　　相關(guān)內(nèi)容推薦：2025年，是最后期限…