行業(yè)唯一!海爾熱聲熱泵技術(shù)獲全國顛覆性技術(shù)創(chuàng)新大賽最高獎OPPO A5 Pro首創(chuàng)獵手天線架構(gòu):信號能穿十堵墻一加 Ace 5 Pro首發(fā)電競Wi-Fi芯片G1 帶來「穿墻王」和「搶網(wǎng)王」般的網(wǎng)絡(luò)體驗電視市場又出黑馬!TCL同檔Mini LED音畫王P12K,萬象分區(qū)打造超強控光!零下25℃如何取暖?海爾水暖通溫暖驛站亮相冰雪大世界馬太效應(yīng),強者恒強?——《中國企業(yè)科創(chuàng)力研究報告(2024)》美團年度報告竟然用上了AI和短?這下是真出圈了消息稱上汽大眾正開發(fā)三款新車,技術(shù)分別來自小鵬、智己和榮威鴻蒙智行泊車代駕VPD正式開啟全量推送!升級自動泊車/接駕等多項功能華為官方翻新手機最高降價4000元曝蘋果研發(fā)帶Face ID的智能家居門鈴:內(nèi)置自研W-Fi芯片李斌回應(yīng)螢火蟲外觀設(shè)計:看過實車的人都喜歡這個設(shè)計林杰:未來 A 級、A0 級、A00 級車型都將是領(lǐng)克純電的“主場”豐巢存包柜亮相南寧地鐵站,助力城市韌性建設(shè)與智慧出行萬象分區(qū)、絢彩XDR、量子點Pro 2025齊出手,TCL引領(lǐng)觀影體驗新變革!QQ音樂年度聽歌報告發(fā)布:誰是你最喜歡的歌手?OpenAI正式發(fā)布o3 - 通往AGI的路上,已經(jīng)沒有了任何阻礙「送禮物」難撬動社交電商,微信小店缺的是供給微軟Phi-4封神,14B小模型數(shù)學(xué)擊敗GPT-4o,合成數(shù)據(jù)占比40%,36頁技術(shù)報告出爐2024年結(jié)束,哪里是原創(chuàng)動畫的應(yīng)許之地?
  • 首頁 > 企業(yè)IT頻道 > 人工智能

    AI浪潮,帶動存儲芯片再進化

    2024年03月05日 21:54:54   來源:半導(dǎo)體行業(yè)觀察

      全球產(chǎn)業(yè)數(shù)位化,數(shù)位資料規(guī)模攀升,加上AI技術(shù)興起,全球?qū)Y料處理、大數(shù)據(jù)分析與AI應(yīng)用的需求快速增長,間接提高對支援高效能運算(HPC)與AI運算的硬體裝置及芯片要求。以云端資料中心伺服器來說,HPC與AI運算需求下,需要搭配升級的芯片包含作為運算核心的中央處理器(CPU)與圖形處理器(GPU)、伺服器基板管理芯片(BMC)、電源管理芯片(PMIC)、高速傳輸芯片,以及存儲等。

      其中,存儲除用于長期儲存資料、屬于非揮發(fā)性存儲的NAND Flash固態(tài)硬盤(SSD),也包含用于即時高速運算暫存資料、屬于揮發(fā)性存儲的靜態(tài)隨機存取存儲(SRAM)與動態(tài)隨機存取存儲(DRAM)。

      存儲在芯片運算過程中的主要作用,是暫存運算過程中的中間值或參數(shù)。傳統(tǒng)的暫存用存儲可區(qū)分為芯片內(nèi)部的快閃(Cache)存儲與外部連接的DRAM。隨著運算效能持續(xù)提升,芯片對內(nèi)部與外部存儲的容量與資料存取速率要求提高,特別是內(nèi)部Cache存儲。在封裝的空間尺寸有限下,將小芯片(Chiplet)透過先進封裝在單一芯片內(nèi)形成更高密度的堆疊整合,成為提高芯片內(nèi)部存儲容量的重要選項。

      先進封裝技術(shù)發(fā)展針對芯片運算效能與功能持續(xù)提升的需求,透過中介層、矽穿孔與微凸塊等技術(shù)達成2.5D/3D的小芯片堆疊,使業(yè)者能在更小空間內(nèi)達成更多運算單元與芯片功能整合。超微(AMD)的Ryzen 7 5800X3D芯片就是存儲小芯片與CPU堆疊整合的例子:透過在CPU上方堆疊64MB的SRAM存儲小芯片,將CPU原本32MB的Cache存儲擴充為96MB,使CPU運算效能提升15%。

      不過,用于HPC或AI運算的高階GPU芯片,如英偉達(NVIDIA)的H100與超微的MI300,其主要運算架構(gòu)是以GPU運算核心搭配可快速大量存取傳輸資料的高頻寬存儲( HBM ),二者透過先進封裝技術(shù),也就是臺積電的CoWoS 2.5D封裝技術(shù)在中介層上整合連接。

      HBM是超微與存儲大廠SK海力士、聯(lián)電、日月光等伙伴合作開發(fā),SK海力士在2015年量產(chǎn)第一代HBM(HBM1),導(dǎo)入超微Radeon Rx300 GPU芯片。隨后南韓與存儲大廠Samsung Electronics與Micron Technology也投入HBM開發(fā)。其主要結(jié)構(gòu)是由多層DRAM存儲小芯片形成的高容量存儲垂直堆疊,最下層是HBM的控制芯片。堆疊中上一層DRAM與下一層DRAM間的訊號透過微凸塊連接,而上一層DRAM的訊號可穿過下一層DRAM的矽穿孔與更下層的DRAM甚至最下層的控制芯片連接,再向下傳遞至基板。垂直堆疊的短距離確保層與層間的訊號傳輸快速且耗能低,間接提升運算效能。

      在CoWoS架構(gòu)下,GPU運算核心可搭配多個HBM堆疊。目前全球已發(fā)展到HBM3的最新規(guī)格,在HBM堆疊數(shù)、垂直堆疊層數(shù)及層間訊號連接通道數(shù)都有增加;如從HBM2到HBM3,堆疊數(shù)可從八個增至16個,有效提升存儲的資料容量與存取傳輸速率。

      HBM主要是搭配GPU這類高運算效能芯片,本身主要結(jié)構(gòu)采用3D堆疊的先進封裝制作,再以CoWoS先進封裝與GPU運算核心整合,形成完整的GPU芯片。若非GPU采用7奈米以下先進制程制作,是屬于高單價產(chǎn)品,要以先進封裝整合HBM的芯片生產(chǎn)成本是難以承受。在超微Ryzen 7 5800X3D芯片的例子中,CPU上方堆疊SRAM小芯片,為提高存儲容量,也需以先進制程制作SRAM,成本高昂。

      針對智能物聯(lián)網(wǎng)(AIoT)應(yīng)用所需中等算力需求,有半導(dǎo)體業(yè)者提出非先進制程運算芯片搭配客制化DRAM存儲的解決方案,將存儲與運算芯片以3D封裝垂直堆疊。所謂的客制化DRAM存儲,是根據(jù)運算芯片的電路與內(nèi)連線的接觸電極分布,設(shè)計出DRAM芯片的電路與資料存取傳輸通道位置,使運算芯片與垂直堆疊的DRAM小芯片之間能有高效率的資料存取傳輸,以提升運算效能。運算芯片是以AIoT應(yīng)用所需的單芯片(SoC)或特殊應(yīng)用芯片(ASIC)為主,而DRAM高于SRAM的存儲密度,讓DRAM小芯片在不采用先進制程下可擁有相當于SRAM小芯片的容量,也是成本優(yōu)勢。

      有存儲業(yè)者與晶圓代工業(yè)者、封測業(yè)者、IC設(shè)計業(yè)者合作,構(gòu)建解決方案平臺,依照應(yīng)用需求,完成ASIC、DRAM以及二者封裝連接與散熱等需求的完整設(shè)計。無論是ASIC與DRAM都采用成熟制程制作,相較HBM、SRAM與先進制程運算芯片的組合,成本降低,可因應(yīng)應(yīng)用開發(fā)業(yè)者對成本結(jié)構(gòu)的要求。

      因應(yīng)日漸增加的AI應(yīng)用,存儲以小芯片或HBM等不同的樣態(tài),可透過先進封裝技術(shù)與運算芯片形成單一芯片封裝,支持不同類型的運算需求,也促成半導(dǎo)體產(chǎn)業(yè)鏈跨領(lǐng)域多元整合的生態(tài)體系發(fā)展。

      【來源:半導(dǎo)體行業(yè)觀察】

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風(fēng)險自擔。

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。

    3C消費

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標識解析專題論壇在沈陽成功舉辦。