從三星路線圖看DRAM發(fā)展新動向

　　隨著人工智能和元宇宙等對于高性能計算有強烈需求的應用逐漸成為半導體行業(yè)的新市場驅(qū)動，內(nèi)存的性能發(fā)展也成了這些應用的重要支撐，這也成為內(nèi)存行業(yè)繼續(xù)大力投入新技術(shù)發(fā)展的重要動力。

　　在這些高性能計算系統(tǒng)中，內(nèi)存帶寬和容量將決定計算性能(例如人工智能算法中需要的大容量神經(jīng)網(wǎng)絡模型計算，以及元宇宙應用中的高性能渲染技術(shù))，這也就是高性能計算領(lǐng)域人們常常提及的“內(nèi)存墻”。在許多高性能計算應用中，事實上邏輯計算并非整個系統(tǒng)的瓶頸，而數(shù)據(jù)存取才是整個系統(tǒng)速度的決定性因素。一方面，內(nèi)存芯片技術(shù)需要進一步提升帶寬和容量，而另一方面則需要在設(shè)計整體系統(tǒng)時，確保有高效的內(nèi)存存取機制，從而打破內(nèi)存墻的限制，進一步提升高性能計算的性能。

　　上周，三星召開了2022年技術(shù)發(fā)布會(Tech Day 2022)，其中發(fā)布了三星在未來幾年內(nèi)的內(nèi)存技術(shù)發(fā)展路線圖。從中，我們認為其對于內(nèi)存發(fā)展的主題圍繞著“更快，更大，更智能”幾個方向，這也與前面所討論的高性能計算對于內(nèi)存的需求相吻合。由于三星是內(nèi)存芯片領(lǐng)域的領(lǐng)導者，我們認為它公布的路線圖將會很大程度上反映整體內(nèi)存芯片行業(yè)的發(fā)展動向。

　　更快：新內(nèi)存接口將成為突破內(nèi)存墻的主力

　　內(nèi)存接口決定了整體系統(tǒng)可以以多快的速度存取內(nèi)存里面的數(shù)據(jù)，因此也是決定了整體系統(tǒng)性能的重要因素。隨著新一代內(nèi)存接口的問世，高性能計算系統(tǒng)的性能也可望得到進一步提升。

　　在三星公布的內(nèi)存接口路線圖中，我們可以看到涵蓋不同領(lǐng)域的內(nèi)存接口演進的速度。首先，在云端高性能服務器領(lǐng)域，HBM已經(jīng)成為了高端GPU的標配，這也是三星在重點投資的領(lǐng)域之一。HBM的特點是使用高級封裝技術(shù)，使用多層堆疊實現(xiàn)超高IO接口寬度，同時配合較高速的接口傳輸速率，從而實現(xiàn)高能效比的超高帶寬。

　　在三星發(fā)布的路線圖中，2022年HBM3技術(shù)已經(jīng)量產(chǎn)，其單芯片接口寬度可達1024 bit，接口傳輸速率可達6.4 Gbps，相比上一代提升1.8倍，從而實現(xiàn)單芯片接口帶寬819 GB/s，如果使用6層堆疊可以實現(xiàn)4.8 TB/s的總帶寬。而在三星公布的路線圖上，2024年預計將實現(xiàn)接口速度高達7.2 Gbps的HBM3p，從而將數(shù)據(jù)傳輸率相比這一代進一步提升10%，從而將堆疊的總帶寬提升到5 TB/s以上。另外，這里的計算還沒有考慮到高級封裝技術(shù)帶來的高多層堆疊和內(nèi)存寬度提升，我們預計到時候單芯片和堆疊芯片到2024年HBM3p都將實現(xiàn)更多的總帶寬提升。而這也將會成為人工智能應用的重要推動力，我們預計在2025年之后的新一代云端旗艦GPU中看到HBM3p的使用，從而進一步加強云端人工智能的算力。

　　除了HBM之外，在桌面和移動應用中，渲染也正在成為元宇宙相關(guān)應用的重要支柱。例如，在虛擬現(xiàn)實應用中，為了實現(xiàn)沉浸感，對于圖像渲染的需求越來越強。高端虛擬現(xiàn)實設(shè)備會使用桌面級GPU做渲染，并且將渲染的圖像通過串流傳回虛擬現(xiàn)實設(shè)備中，而目前最流行的虛擬現(xiàn)實一體機則會需要使用移動級GPU在一體機中直接做圖像渲染。這些應用都需要越來越大的顯存帶寬，而三星這次發(fā)布的GDDR7(針對桌面級應用)和LPDDR5X(針對移動級應用)都是針對這些應用的重要技術(shù)支柱。其中LPDDR5X的IO數(shù)據(jù)率可達8.5 Gbps，比之前LPDDR5(6.4 Gbps)提升30%，而GDDR7的IO速率可達36 Gbps，是之前GDDR6的兩倍。

　　總體來說，這次三星從內(nèi)存接口角度公布的路線圖顯示了從“更快”的角度，三星將進一步成為內(nèi)存業(yè)界的領(lǐng)跑者之一，從而為半導體行業(yè)的進一步賦能人工智能和元宇宙等下一代應用提供支持。

　　更大：芯片和系統(tǒng)級創(chuàng)新將成為更大內(nèi)存系統(tǒng)的關(guān)鍵

　　隨著人工智能技術(shù)的演進，神經(jīng)網(wǎng)絡模型的參數(shù)也在越來越多(今年已經(jīng)全面走向十億級參數(shù)規(guī)模，未來幾年預期將進一步實現(xiàn)數(shù)量級上的提升)，而計算中需要使用的中間結(jié)果存儲需求也對DRAM的容量提出新的需求。

　　為了滿足這樣對于存儲容量的需求，我們同時需要芯片級和系統(tǒng)級的解決方案。在芯片層面，三星給出的答案是新一代使用1b(12 nm)特征尺寸生產(chǎn)的DRAM，從而實現(xiàn)更大的集成度。三星宣布1b DRAM將會在2023年量產(chǎn)，這也意味著三星在DRAM領(lǐng)域進一步鞏固自己領(lǐng)先的地位。

　　除了芯片級方案之外，系統(tǒng)級方案也是增加內(nèi)存容量的重要方向。例如，在云端服務器市場，使用CXL技術(shù)做內(nèi)存擴展就是一個很有潛力的方向。使用CXL做內(nèi)存擴展的原理是把大量DRAM芯片集成在同一張內(nèi)存擴展卡里，然后使用CXL主控芯片使用CXL協(xié)議接入高速接口中(PCIe)，從而可以供系統(tǒng)直接使用，而無需占用DRAM插槽和接口，以起到內(nèi)存容量擴展的作用。

　　今年早些時候，三星公布了自己基于CXL內(nèi)存擴展技術(shù)的最新結(jié)果，其中使用了為了CXL專門開發(fā)的ASIC主控芯片，并且在機器學習等重要應用中取得了和使用傳統(tǒng)DDR內(nèi)存接口幾乎一樣的性能，從而表明使用CXL做DRAM容量擴展從性能而言將是一個可行的技術(shù)方案，目前主要需要解決的是成本方面的考量，從而讓該技術(shù)進一步得到應用。

　　三星這次也公布了自己在CXL領(lǐng)域的持續(xù)投資，未來我們預計將看到更多CXL內(nèi)存擴展方面的產(chǎn)品。我們預計，CXL首先會在對于內(nèi)存容量有巨大需求且對于性能有強烈需求的應用中(例如超大規(guī)模神經(jīng)網(wǎng)絡模型)開始得到使用，并且在未來越來越多地擴展到其他應用中去。

　　更智能：存內(nèi)計算可望成為下一代內(nèi)存新范式

　　除了在更大和更快兩方面有提升之外，三星另一個布局方向是智能化DRAM，即針對機器學習和人工智能等應用使用存內(nèi)計算和近內(nèi)存計算這樣的新技術(shù)。

　　三星主要的存內(nèi)計算技術(shù)稱為HBM-PIM，其中PIM即存內(nèi)計算(process in memory)的縮寫。其具體原理是在HBM內(nèi)存中直接集成計算單元。傳統(tǒng)的計算過程中，首先會從內(nèi)存中讀出數(shù)據(jù)，然后在其他芯片中的計算單元中做計算，然后把結(jié)果寫回內(nèi)存。而在HBM-PIM中，三星的技術(shù)路徑是在給DRAM的指令不僅僅是讀取和寫入，也可以直接是計算，例如可以給“寫入數(shù)據(jù)A同時將該數(shù)據(jù)和B相加”，這樣在下次讀出時，直接就得到已經(jīng)計算過的數(shù)據(jù)，而無需再次讀出并做計算。這樣就節(jié)省了大量額外的數(shù)據(jù)移動開銷，能實現(xiàn)更好的延遲和能效比。目前，三星已經(jīng)在HBM2的DRAM中完成了第一代HBM-PIM的開發(fā)(Aquabolt)，而在三星公布的路線圖中，我們也看到了HBM3-PIM列上了日程，預計在2024年完成開發(fā)。

　　除了存內(nèi)計算之外，另一種技術(shù)方案是在DRAM旁邊直接集成加速器邏輯以降低訪問內(nèi)存的開銷，這樣的技術(shù)三星稱為AXDIMM(accelerator DIMM)，在三星公布的路線圖上預計2024-2025年完成開發(fā)。

　　我們認為，三星在智能化DRAM方面的布局從長遠來看將會對內(nèi)存技術(shù)和市場格局有深遠影響，未來隨著機器學習等應用對于內(nèi)存訪問提出進一步需求，我們認為這樣的技術(shù)將有機會獲得主流系統(tǒng)廠商越來越多的應用。

　　結(jié)語

　　隨著人工智能等應用的演進，DRAM的未來發(fā)展也正在向賦能這類下一代應用的方向靠攏。從三星公布的路線圖來看，未來的DRAM技術(shù)發(fā)展除了進一步提升DRAM芯片的容量和接口速度之外，還有在系統(tǒng)層面的革新方向(包括CXL內(nèi)存擴展以及存內(nèi)計算/近內(nèi)存計算等智能化DRAM)，DRAM技術(shù)的演進將會帶給芯片和系統(tǒng)廠商越來越多的技術(shù)創(chuàng)新機會，而這些創(chuàng)新將會進一步推動新應用和新場景的出現(xiàn)，從而讓整個領(lǐng)域進一步發(fā)展。