OPPO A5 Pro首創(chuàng)獵手天線架構:信號能穿十堵墻一加 Ace 5 Pro首發(fā)電競Wi-Fi芯片G1 帶來「穿墻王」和「搶網(wǎng)王」般的網(wǎng)絡體驗電視市場又出黑馬!TCL同檔Mini LED音畫王P12K,萬象分區(qū)打造超強控光!零下25℃如何取暖?海爾水暖通溫暖驛站亮相冰雪大世界馬太效應,強者恒強?——《中國企業(yè)科創(chuàng)力研究報告(2024)》美團年度報告竟然用上了AI和短。窟@下是真出圈了消息稱上汽大眾正開發(fā)三款新車,技術分別來自小鵬、智己和榮威鴻蒙智行泊車代駕VPD正式開啟全量推送!升級自動泊車/接駕等多項功能華為官方翻新手機最高降價4000元曝蘋果研發(fā)帶Face ID的智能家居門鈴:內(nèi)置自研W-Fi芯片李斌回應螢火蟲外觀設計:看過實車的人都喜歡這個設計林杰:未來 A 級、A0 級、A00 級車型都將是領克純電的“主場”豐巢存包柜亮相南寧地鐵站,助力城市韌性建設與智慧出行萬象分區(qū)、絢彩XDR、量子點Pro 2025齊出手,TCL引領觀影體驗新變革!QQ音樂年度聽歌報告發(fā)布:誰是你最喜歡的歌手?OpenAI正式發(fā)布o3 - 通往AGI的路上,已經(jīng)沒有了任何阻礙「送禮物」難撬動社交電商,微信小店缺的是供給微軟Phi-4封神,14B小模型數(shù)學擊敗GPT-4o,合成數(shù)據(jù)占比40%,36頁技術報告出爐2024年結束,哪里是原創(chuàng)動畫的應許之地?深扒一個正被游戲行業(yè)「搶占」的流量帝國
  • 首頁 > 云計算頻道 > 云計算

    科技云報道:從“算力核彈”到生成式AI,新紀元還有多遠?

    2024年03月28日 11:12:07   來源:科技云報道

      “我們需要更大的GPU”!

      3月19日凌晨,一年一度的“AI風向標”重磅會議——GTC 2024如期而至。

      英偉達CEO黃仁勛在大會上發(fā)布了包括新一代加速計算平臺NVIDIA Blackwell、Project GR00T人形機器人基礎模型、Omniverse Cloud API、NVIDIA DRIVE Thor集中式車載計算平臺等在內(nèi)的一系列突破性科技成果。

      其中,NVIDIA Blackwell作為英偉達的“王炸”力作,再次將AI芯片的技術標準推向了新的高度。

      緊接著,NVIDIA和亞馬遜云科技宣布了雙方的擴展合作,Blackwell將很快登陸亞馬遜云科技,并與亞馬遜云科技引以為傲的網(wǎng)絡連接、高級虛擬化和超大規(guī)模集群等領先技術結合,為數(shù)萬億參數(shù)規(guī)模的大模型推理工作負載帶來巨大的性能飛躍。

      萬億級參數(shù)規(guī)模正處在當前全球頂級大模型的實際參數(shù)區(qū)間,也許用戶很快就能在各種生成式AI應用中體驗到新硬件帶來的提升。

      “王炸”AI芯片誕生

      訓練萬億參數(shù)級別的大模型,需要多大規(guī)模的算力?

      在GTC現(xiàn)場,黃仁勛首先算了一道數(shù)學題。以OpenAI最先進的1.8萬億參數(shù)大模型為例,該模型需要幾萬億的Token進行訓練。

      萬億參數(shù)與數(shù)萬億的Token相乘,就是訓練OpenAI最先進大模型所需的計算規(guī)模。黃仁勛估算,如果用一顆petaflop(每秒鐘進行1千萬億次運算)量級的GPU進行運算,需要1000年的時間才能完成。

      在Transformer發(fā)明后,大模型的規(guī)模正在以驚人的速度擴展,平均每6個月就會翻倍,這意味著萬億級別參數(shù)并不是大模型的上限。

      在這種趨勢下,黃仁勛相信,生成式AI的迭代和發(fā)展,需要更大的GPU、更快的GPU互連技術、更強大的超級計算機內(nèi)部連接技術,以及更龐大的超級計算機巨型系統(tǒng)。

      一直以來,NVIDIA推出的GPU一般是兩種架構,其中面向游戲的GeForce RTX系列GPU是Ada Lovelace架構,面向AI、大數(shù)據(jù)等應用的專業(yè)級顯卡是Hopper架構。風靡世界的H100就是基于Hopper架構。

      雖然Hopper已經(jīng)能夠滿足大部分商用市場的需求,但黃仁勛認為這樣還不夠:“我們需要更大的GPU,更需要將GPU堆疊在一起。”

      于是,同時用以上兩種架構類型的產(chǎn)品Blackwell誕生了。Blackwell是英偉達祭出的第六代芯片架構。這塊小小的GPU,集成了2080億個晶體管,擁有著超強的算力,也顛覆了此前所有的產(chǎn)品。

      據(jù)黃仁勛透露,英偉達為該芯片的研發(fā)投入了100億美元。這一新架構以加州大學伯克利分校數(shù)學家David Harold Blackwell命名。他專門研究博弈論和統(tǒng)計學,也是第一位入選美國國家科學院的黑人學者。

      Blackwell在單芯片訓練方面的FP8性能是其上一代架構的2.5倍,在推理方面的 FP4 性能是其上一代架構的5倍。它具有第五代NVLink互連,速度是Hopper的兩倍,并且可擴展至576個GPU。

      所以,Blackwell不是一個芯片,而是一個平臺。

      NVIDIA GB200 Grace Blackwell超級芯片通過900GB/s超低功耗的片間互聯(lián),將兩個NVIDIA B200 Tensor Core GPU與NVIDIA Grace CPU相連。

      其巨大的性能升級,能為人工智能公司提供20 petaflops或每秒2萬億次計算的AI性能,相較于H100,大語言模型性能提升30倍,同時能耗只有1/25。

      不難看出,Blackwell平臺如此卓越的性能提升,是為了下一代生成式AI做準備。而從OpenAI最近發(fā)布的Sora和已經(jīng)開始研發(fā)更強大、更復雜的GPT-5模型也能看出,生成式AI的下一步是多模態(tài)和視頻,也就意味著更大規(guī)模的訓練。Blackwell帶來了更多可能性。

      如今,從谷歌的無邊搜索引擎,到亞馬遜的云頂天堂,再到特斯拉的智能駕駛,各大科技巨頭正紛紛加入NVIDIA的Blackwell陣營,開啟了一場令人興奮的AI加速計算盛宴。

      亞馬遜、谷歌、戴爾、Meta、微軟、OpenAI、Oracle、特斯拉等行業(yè)翹楚都在爭先恐后地布局,準備在AI新時代大展身手。

      難掩戰(zhàn)略焦慮

      受益于去年以來生成式AI的火爆,2月21日盤后,英偉達公布的最新一季度財報再次打破市場預期。財報顯示,2024財年,英偉達總營收達609億美元,同比增長125.85%;凈利潤為297.6億美元,同比增長超581%;調(diào)整后每股盈利為12.96美元,同比增長288%。此次已經(jīng)是英偉達實現(xiàn)連續(xù)四個季度的盈利超出市場預期。

      英偉達的業(yè)績加速實則反映了全球科技公司對于AI算力需求的激增。隨著Sora等應用的橫空出世,世人看到了大模型落地的巨大潛力。

      生成式 AI很有可能進入“軍備競賽”階段,與之伴隨的是科技公司對芯片的需求也會持續(xù)提升。

      Counterpoint Research的數(shù)據(jù)顯示,2023年,英偉達的營收將飆升至303億美元,比2022年的163億美元增長86%,躍升為2023年全球第三大半導體廠商。

      富國銀行則預計,英偉達2024年將會在數(shù)據(jù)中心市場獲得高達457億美元的營收,或創(chuàng)下歷史新高。

      不過,創(chuàng)造歷史的英偉達并非高枕無憂。英偉達在AI計算的“壟斷”的現(xiàn)狀并不讓所有人都滿意,競爭對手在竭力打破英偉達的統(tǒng)治地位,客戶也需要第二個AI芯片供應源。

      盡管英偉達的GPU有很多優(yōu)點,不過它在用于AI時它可能耗電量太高且編程復雜。從創(chuàng)業(yè)公司到其他芯片制造商和科技巨頭,英偉達的競爭對手層出不窮。

      近期,OpenAI CEO奧爾特曼正在與中東阿布扎比G42基金、日本軟銀集團等全球投資者籌集超過80億美元資金,成立一家全新AI 芯片公司,目標是利用資金建立一個工廠網(wǎng)絡來制造芯片,直接對標英偉達。

      2月17日,業(yè)內(nèi)人士透露,日本投資界巨頭軟銀集團創(chuàng)始人孫正義正在尋求籌集最高達1000億美元的資金,打造一家規(guī)模龐大的合資芯片公司,這家公司能夠與芯片設計部門Arm形成互補。

      過去,AMD一直在進行其新一代AI戰(zhàn)略規(guī)劃,包括并購和部門重組等,但生成式AI的橫空出世導致該公司產(chǎn)品陣容進一步擴充:去年12月發(fā)布的MI300芯片專門面向復雜的AI大模型,配置了1530億個晶體管、192GB的內(nèi)存、每秒5.3TB的內(nèi)存帶寬,分別是英偉達最強AI芯片H100的大約2倍、2.4倍和1.6倍。

      亞馬遜云科技也在自研芯片領域進行持續(xù)投入,以提升客戶云上工作負載性價比。亞馬遜云科技很早就面向AI領域推出了Trainium訓練芯片和Inferentia推理芯片兩個系列,并不斷更新迭代。

      去年底推出Trainium2能夠通過云中擴展和網(wǎng)絡互聯(lián)提供65exaflops的AI算力,數(shù)周時間即可完成3千億參數(shù)的大語言模型的訓練。這些AI芯片已被使用在包括Anthropic等生成式AI領域的頭部企業(yè)當中。

      這些大廠不約而同地砸下重金,選擇自研AI芯片,透露出誰都不想將科技的話語權和主導權交到芯片大廠的手中,只有處于“AI食物鏈”頂端,才有可能掌握通向未來的鑰匙。

      研發(fā)為底,生態(tài)為徑

      黃仁勛曾在很多地方有過這樣的表示:英偉達不是在銷售芯片,而是在銷售解決問題的能力。

      在這種產(chǎn)業(yè)生態(tài)共建的理念驅(qū)動下,英偉達圍繞GPU打造了一個涵蓋硬件、軟件及開發(fā)工具在內(nèi)的生態(tài)系統(tǒng)。

      例如,英偉達在自動駕駛領域的投資成果顯著,其Drive PX系列平臺以及后來推出的Drive AGX Orin系統(tǒng)級芯片,成為了眾多汽車制造商實現(xiàn)高級駕駛輔助系統(tǒng)(ADAS)和自動駕駛的關鍵部件,這是底層技術創(chuàng)新與實際應用場景深度融合的成功案例。

      面對行業(yè)競爭,英偉達希望發(fā)揮整體的生態(tài)協(xié)作力量,共同為產(chǎn)業(yè)服務,為市場服務。

      英偉達與云計算“一哥”亞馬遜云科技的合作同樣成果不凡,從第一個GPU云實例到現(xiàn)在的Blackwell平臺解決方案,雙方的合作已經(jīng)超過13年?蛻艉芸炀湍茉趤嗰R遜云科技上使用基于NVIDIA GB200 Grace Blackwell Superchip和B100 Tensor Core GPUs的基礎設施。

      英偉達的超強算力芯片系統(tǒng)與亞馬遜云科技強大的Elastic Fabric Adapte(EFA)網(wǎng)絡連接能力、高級虛擬化(Amazon Nitro System)和超大規(guī)模集群(Amazon EC2 UltraClusters)等領先技術的結合,使得客戶能夠更快更大規(guī)模且更安全地在云上構建和運行數(shù)萬億參數(shù)的大語言模型。

      在大模型研發(fā)領域,萬億級參數(shù)規(guī)模此前還算是一道門檻。根據(jù)公開的報道,去年年中發(fā)布的GPT4的模型參數(shù)是1.8萬億,由8個220B模型組成;前不久發(fā)布的Claude3模型沒有公布參數(shù)規(guī)模,而馬斯克最新開源的Grok大模型參數(shù)是3140億參數(shù)規(guī)模。

      雙方此次合作,有望在加速萬億級別大語言模型的研發(fā)方面,為生成式AI領域的突破提供新的可能。

      英偉達自身的AI團隊專門在亞馬遜云科技上構建了Project Ceiba項目,以幫助其推動未來生成式AI的創(chuàng)新。

      Ceiba項目首次亮相是在2023年11月底亞馬遜云科技2023 re:Invent全球大會上,這是當時英偉達與亞馬遜云科技合作建造的世界上最快的AI超級計算之一,當時的計算性能為65 exaflops。

      隨著Blackwell平臺加入Ceiba項目,為其帶來了7倍于原先的計算性能,現(xiàn)在,該AI超級計算機將能夠處理高達414 exaflops的AI計算量。

      新的Ceiba項目擁有20,736顆B200 GPU的超級計算機,采用新型NVIDIA GB200 NVL72系統(tǒng)構建,該系統(tǒng)利用第五代NVLink技術連接10,368顆NVIDIA Grace CPU。

      系統(tǒng)還通過亞馬遜云科技的第四代EFA網(wǎng)絡進行擴展,為每個Superchip提供高達800 Gbps的低延遲、高帶寬網(wǎng)絡吞吐量。

      此外,亞馬遜云科技還計劃提供配備基于新的英偉達B100 GPU的Amazn EC2實例,并能夠在Amazon EC2 UltraClusters中進行大規(guī)模部署。

      此次合作被黃仁勛抱以更多期待:“人工智能正在以前所未有的速度推動突破,導致新的應用、商業(yè)模式和跨行業(yè)的創(chuàng)新。

      英偉達與亞馬遜云科技的合作正在加速新的生成式AI能力的發(fā)展,并為客戶提供前所未有的計算能力,以推動可能性的邊界。”

      如此多的行業(yè),如此繁復的創(chuàng)新,英偉達正與其合作伙伴構建起越來越強大的AI生態(tài),共同引領生成式AI的新紀元。用黃仁勛的話說,當計算機圖形學、物理學、人工智能交匯,便衍生出NVIDIA的靈魂。

      文章內(nèi)容僅供閱讀,不構成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應用,“區(qū)塊鏈+政務服務”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。

    3C消費

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標識解析專題論壇在沈陽成功舉辦。