下單前先比價(jià)不花冤枉錢 同款圖書京東價(jià)低于抖音6折日媒感慨中國電動汽車/智駕遙遙領(lǐng)先:本田、日產(chǎn)、三菱合并也沒戲消委會吹風(fēng)機(jī)品質(zhì)檢測結(jié)果揭曉 徠芬獨(dú)占鰲頭 共話新質(zhì)營銷力,2024梅花數(shù)據(jù)峰會圓滿落幕索尼影像專業(yè)服務(wù) PRO Support 升級,成為會員至少需注冊 2 臺 α 全畫幅相機(jī)、3 支 G 大師鏡頭消息稱vivo加碼電池軍備競賽:6500mAh 旗艦機(jī)+7500mAh中端機(jī)寶馬M8雙門轎跑車明年年初將停產(chǎn),后續(xù)無2026款車型比亞迪:2025 款漢家族車型城市領(lǐng)航智駕功能開啟內(nèi)測雷神預(yù)告2025年首次出席CES 將發(fā)布三款不同技術(shù)原理智能眼鏡realme真我全球首發(fā)聯(lián)發(fā)科天璣 8400 耐玩戰(zhàn)神共創(chuàng)計(jì)劃iQOO Z9 Turbo長續(xù)航版手機(jī)被曝電池加大到6400mAh,搭驍龍 8s Gen 3處理器普及放緩 銷量大跌:曝保時(shí)捷將重新評估電動汽車計(jì)劃來京東參與榮耀Magic7 RSR 保時(shí)捷設(shè)計(jì)預(yù)售 享365天只換不修國補(bǔ)期間電視迎來換機(jī)潮,最暢銷MiniLED品牌花落誰家?美團(tuán)旗下微信社群團(tuán)購業(yè)務(wù)“團(tuán)買買”宣布年底停運(yùn)消息稱微軟正與第三方廠商洽談,試圖合作推出Xbox游戲掌機(jī)設(shè)備在海外,要再造一個(gè)京東物流?消息稱蘋果正為AirPods開發(fā)多項(xiàng)健康功能,包括心率監(jiān)測和溫度感應(yīng)一加 Ace 5系列將搭載全新游戲助手:大幅提升游戲體驗(yàn)東芝全部業(yè)務(wù)實(shí)現(xiàn)盈利,退市裁員重組后終于賺錢
  • 首頁 > 企業(yè)IT頻道 > 軟件即服務(wù)

    微軟自曝花數(shù)億美元為OpenAI組裝超算開發(fā)ChatGPT 使用數(shù)萬個(gè)英偉達(dá)芯片

    2023年03月14日 10:31:26   來源:網(wǎng)易科技

      3月14日消息,美國當(dāng)?shù)貢r(shí)間周一,微軟發(fā)文透露其斥資數(shù)億美元幫助OpenAI組裝了一臺AI超級計(jì)算機(jī),以幫助開發(fā)爆火的聊天機(jī)器人ChatGPT。這臺超算使用了數(shù)萬個(gè)英偉達(dá)圖形芯片A100,這使得OpenAI能夠訓(xùn)練越來越強(qiáng)大的AI模型。

      OpenAI試圖訓(xùn)練越來越大的AI模型,這些模型正在吸收更多的數(shù)據(jù),學(xué)習(xí)越來越多的參數(shù),這些參數(shù)是AI系統(tǒng)通過訓(xùn)練和再培訓(xùn)找出的變量。這意味著,OpenAI需要很長時(shí)間才能獲得強(qiáng)大的云計(jì)算服務(wù)支持。

      為應(yīng)對這一挑戰(zhàn),當(dāng)微軟于2019年向OpenAI投資10億美元時(shí),該公司同意為這家AI研究初創(chuàng)公司組裝一臺巨大的尖端超級計(jì)算機(jī)。但問題在于,微軟沒有任何OpenAI所需的東西,也不完全確定其能否能在不破壞Azure云服務(wù)的情況下構(gòu)建如此龐大的設(shè)備。

      為此,微軟不得不想方設(shè)法將英偉達(dá)的數(shù)萬個(gè)A100圖形芯片連接起來,并改變服務(wù)器在機(jī)架上的放置方式以防止斷電。A100圖形芯片是培訓(xùn)AI模型的主力。微軟負(fù)責(zé)云計(jì)算和AI業(yè)務(wù)的執(zhí)行副總裁斯科特·格思里(Scott Guthrie)沒有透露該項(xiàng)目的具體成本,但其暗示可能達(dá)數(shù)億美元。

      微軟Azure AI基礎(chǔ)設(shè)施總經(jīng)理尼迪·卡佩爾(Nidhi Cappell)說:“我們構(gòu)建了一個(gè)系統(tǒng)構(gòu)架,它可以在非常大的范圍內(nèi)運(yùn)行且十分可靠,這是ChatGPT成功的重要原因。這只是我們從中得出的一個(gè)模式,還會有許許多多其他的模型。”

      基于這項(xiàng)技術(shù),OpenAI發(fā)布了爆火的聊天機(jī)器人ChatGPT。在去年11月上線后幾天,它就吸引了100多萬用戶,現(xiàn)在正被納入其他公司的商業(yè)模式。隨著企業(yè)和消費(fèi)者對ChatGPT等生成式人工智能(AIGC)工具的興趣越來越大,微軟、亞馬遜和谷歌等云服務(wù)提供商將面臨更大的壓力,以確保他們的數(shù)據(jù)中心能夠提供所需的巨大算力。

      與此同時(shí),微軟現(xiàn)在也開始使用它為OpenAI構(gòu)建的基礎(chǔ)設(shè)施來訓(xùn)練和運(yùn)行自己的大型AI模型,包括上個(gè)月推出的新必應(yīng)搜索聊天機(jī)器人。該公司還向其他客戶銷售該系統(tǒng)。這家軟件巨頭已經(jīng)在研發(fā)下一代AI超級計(jì)算機(jī),這是微軟與OpenAI擴(kuò)大合作的一部分,微軟在交易中增加了100億美元投資。

      格思里在接受采訪時(shí)說:“我們并沒有為OpenAI定制任何東西,盡管其最初是定制的,但我們總是以一種泛化的方式構(gòu)建它,這樣任何想要訓(xùn)練大型語言模型的人都可以利用同樣的改進(jìn)技術(shù)。這真的幫助我們在更廣泛的范圍內(nèi)成為更好的AI智能云。”

      訓(xùn)練規(guī)模龐大的AI模型需要在某個(gè)地方有大量相互連接的圖形處理單元,就像微軟組裝的AI超級計(jì)算機(jī)那樣。一旦模型投入使用,回答用戶查詢的所有問題(這個(gè)過程稱為推理)需要略有不同的設(shè)置。為此,微軟還部署了用于推理的圖形芯片,但這些處理器(成千上萬個(gè))在地理上分散在該公司60多個(gè)數(shù)據(jù)中心里。微軟表示,現(xiàn)在該公司正在添加用于AI工作負(fù)載的最新英偉達(dá)圖形芯片H100以及最新版Infiniband網(wǎng)絡(luò)技術(shù),以更快地共享數(shù)據(jù)。

      新的必應(yīng)仍處于測試階段,微軟正在逐步從申請測試名單中增加更多用戶。格思里的團(tuán)隊(duì)與大約20多名員工每天都要舉行會議,他將這些員工稱為“pit crew”,原指賽車中車隊(duì)后勤維護(hù)組的技師。這些人的工作是找出如何讓更多的計(jì)算能力快速上線,以及解決突然出現(xiàn)的問題。

      云服務(wù)依賴于數(shù)千個(gè)不同的部件,包括服務(wù)器、管道、建筑物的混凝土、不同的金屬和礦物,而任何一個(gè)組件的延遲或短缺,無論多么微小,都可能導(dǎo)致整個(gè)項(xiàng)目中斷。最近,“pit crew”團(tuán)隊(duì)不得不幫助解決電纜托盤短缺的問題,這是一種籃狀的裝置,用來固定從機(jī)器上順下來的電纜。因此,他們設(shè)計(jì)了一種新的電纜橋架。格思里說,他們還致力于研究如何在世界各地的現(xiàn)有數(shù)據(jù)中心壓榨盡可能多的服務(wù)器,這樣他們就不必等待新的建筑竣工。

      當(dāng)OpenAI或微軟開始訓(xùn)練大型AI模型時(shí),這項(xiàng)工作需要一次完成。工作被分配給所有的GPU,在某些時(shí)候,這些GPU需要相互交流來分享他們所做的工作。對于AI超級計(jì)算機(jī),微軟必須確保處理所有芯片之間通信的網(wǎng)絡(luò)設(shè)備能夠處理這種負(fù)載,并且它必須開發(fā)出最大限度地利用GPU和網(wǎng)絡(luò)設(shè)備的軟件。該公司現(xiàn)在已經(jīng)開發(fā)出一種軟件,可以用來訓(xùn)練數(shù)十萬億個(gè)參數(shù)的AI模型。

      因?yàn)樗袡C(jī)器都是同時(shí)啟動的,微軟不得不考慮安放它們的位置,以及電源該應(yīng)該放在哪里。否則,數(shù)據(jù)中心最終可能會斷電。Azure全球基礎(chǔ)設(shè)施總監(jiān)阿利斯泰爾·斯皮爾斯(Alistair Speirs)說,微軟還必須確保能夠冷卻所有這些機(jī)器和芯片,該公司在較涼爽的氣候中使用蒸發(fā);冷卻方式、在較冷的氣候中使用室外空氣,在炎熱的氣候中使用高科技沼澤冷卻器。

      格思里說,微軟將繼續(xù)致力于定制服務(wù)器和芯片設(shè)計(jì),以及優(yōu)化供應(yīng)鏈的方法,以盡可能地提高速度、提高效率和節(jié)省成本。他說:“現(xiàn)在令世界驚嘆的AI模型是基于我們幾年前開始建造的超級計(jì)算機(jī)構(gòu)建的,而新模型將使用我們現(xiàn)在正在訓(xùn)練的新超級計(jì)算機(jī)。這臺計(jì)算機(jī)要大得多,可以實(shí)現(xiàn)更復(fù)雜的技術(shù)。”

      微軟已經(jīng)在努力使Azure的AI功能更加強(qiáng)大,推出了新的虛擬機(jī),使用英偉達(dá)的H100和A100 Tensor Core GPU,以及Quantum-2 InfiniBand網(wǎng)絡(luò)。微軟表示,這將允許OpenAI和其他依賴Azure的公司訓(xùn)練更大、更復(fù)雜的AI模型。

      微軟Azure AI企業(yè)副總裁埃里克·博伊德(Eric Boyd)在一份聲明中說:“我們發(fā)現(xiàn),我們需要構(gòu)建專門的集群,專注于支持大量的培訓(xùn)工作,而OpenAI就是早期的證據(jù)之一。我們正與他們密切合作,了解他們在建立訓(xùn)練環(huán)境時(shí)需要的關(guān)鍵條件,以及他們需要的其他東西。”(小小)

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡直是創(chuàng)作者們的首選。