如今,任何有關(guān)人工智能的討論都必然會(huì)涉及ChatGPT的崛起,這是一款基于OpenAI的GPT系列大型語(yǔ)言模型(LLM)構(gòu)建的無(wú)處不在的聊天機(jī)器人。但是,如何在數(shù)據(jù)中心滿足這種生成式人工智能技術(shù)的需求呢?
這款聊天機(jī)器人于去年年底推出,并以其內(nèi)容生成功能引起轟動(dòng)。人們正在使用ChatGPT和其他供應(yīng)商的競(jìng)爭(zhēng)機(jī)器人來(lái)回答復(fù)雜的問(wèn)題,以及自動(dòng)化編寫軟件代碼和制作營(yíng)銷文案等任務(wù)。
但由于這種生成式人工智能技術(shù)固有的所有可能性,充分利用基礎(chǔ)模型的潛力一直很困難。大多數(shù)模型都是根據(jù)公開(kāi)數(shù)據(jù)進(jìn)行訓(xùn)練的,這使得它們不太適合特定的企業(yè)應(yīng)用,例如查詢敏感的內(nèi)部文檔。
企業(yè)希望這些模型能夠處理企業(yè)內(nèi)部數(shù)據(jù)。但這是否意味著企業(yè)必須全力以赴、從頭開(kāi)始構(gòu)建?讓我們深入了解一下。
構(gòu)建大型語(yǔ)言模型:數(shù)據(jù)中心中成本高昂之事
構(gòu)建LLM的任務(wù)需要多個(gè)步驟,例如GPT-3或GPT-4,首先需要進(jìn)行大量的計(jì)算訓(xùn)練,這需要數(shù)百甚至數(shù)千個(gè)昂貴的GPU在數(shù)據(jù)中心服務(wù)器中聚集在一起,持續(xù)數(shù)周或數(shù)月。
隨著模型規(guī)模的增加,訓(xùn)練和再訓(xùn)練所需的GPU數(shù)量也會(huì)增加。例如,Google必須插入6144個(gè)芯片來(lái)訓(xùn)練其5400億參數(shù)的PaLM模型。這一過(guò)程還需要高級(jí)培訓(xùn)技術(shù)和工具方面的專業(yè)知識(shí),例如Microsoft DeepSpeed和Nvidia MegaTron-LM,而這些在組織中可能并不容易獲得。
訓(xùn)練完成后,這些芯片就需要在模型上持續(xù)運(yùn)行推理,這進(jìn)一步增加了成本。從這個(gè)角度來(lái)看,如果只使用500臺(tái)Nvidia DGX A100多GPU服務(wù)器(通常用于LLM訓(xùn)練和推理),每臺(tái)售價(jià)19.9萬(wàn)美元,就意味著該項(xiàng)目的支出約為1億美元。除此之外,服務(wù)器產(chǎn)生的額外功耗和熱量輸出將增加總擁有成本。
這是對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施的大量投資,特別是對(duì)于那些不是專門的人工智能組織、只希望LLM加速某些業(yè)務(wù)用例的企業(yè)來(lái)說(shuō)。
人工智能時(shí)代數(shù)據(jù)中心的理想方法
除非企業(yè)擁有獨(dú)特的高質(zhì)量數(shù)據(jù)集,可以創(chuàng)建具有堅(jiān)實(shí)競(jìng)爭(zhēng)優(yōu)勢(shì)的模型,值得投資。否則最好的方法是針對(duì)組織自身數(shù)據(jù)(企業(yè)文檔、客戶電子郵件等)的特定用例,對(duì)現(xiàn)有開(kāi)源LLM進(jìn)行微調(diào)。
一個(gè)很好的反例是BloombergGPT模型。這是Bloomberg從頭開(kāi)始訓(xùn)練的一個(gè)包含500億個(gè)參數(shù)的[模型]……有多少組織可以自信地聲稱其擁有相同數(shù)量的獨(dú)特高質(zhì)量數(shù)據(jù)?其實(shí),沒(méi)有那么多。
另一方面,微調(diào)是一個(gè)更輕量級(jí)的過(guò)程,只需要一小部分時(shí)間、預(yù)算和精力。
如果企業(yè)確實(shí)看到從頭開(kāi)始構(gòu)建LLM的價(jià)值,那么就應(yīng)該從小規(guī)模開(kāi)始,使用托管云基礎(chǔ)設(shè)施和機(jī)器學(xué)習(xí)(ML)服務(wù),而不是立即購(gòu)買昂貴的GPU進(jìn)行現(xiàn)場(chǎng)部署。
云還提供了更多培訓(xùn)選項(xiàng)可供選擇,不僅包括Nvidia GPU,還包括AMD和Intel的GPU,以及Google TPU和AWS Trainium等客戶加速器。
另一方面,如果當(dāng)?shù)胤苫蚍ㄒ?guī)強(qiáng)制要求遠(yuǎn)離云端,現(xiàn)場(chǎng)部署GPU等加速硬件將是默認(rèn)的首選。
規(guī)劃仍然是關(guān)鍵
在急于為特定領(lǐng)域的LLM和基于其的應(yīng)用投資GPU、技能或云合作伙伴之前,技術(shù)決策者必須通過(guò)與企業(yè)中的其他領(lǐng)導(dǎo)者和主題專家合作來(lái)制定明確的戰(zhàn)略。專注于決策的業(yè)務(wù)案例,大致了解此類工作負(fù)載當(dāng)前和未來(lái)的需求將會(huì)很有幫助。
通過(guò)這種規(guī)劃,企業(yè)可以做出明智的決定,決定何時(shí)以及如何投資培訓(xùn)LLM。這包括選擇什么樣的硬件、可以在哪里使用其他人開(kāi)發(fā)的現(xiàn)有模型,以及誰(shuí)可能是人工智能之旅的合適合作伙伴等方面。
人工智能/機(jī)器學(xué)習(xí)的發(fā)展速度令人難以置信……如果以傳統(tǒng)的面向未來(lái)的思維方式來(lái)對(duì)待這些新技術(shù),那么解決方案很可能會(huì)相對(duì)較快地過(guò)時(shí)。所涉及的技術(shù)和硬件的特殊性意味著,更好的選擇可能是首先開(kāi)發(fā)解決方案前景,并相應(yīng)地升級(jí)數(shù)據(jù)中心。
在沒(méi)有正當(dāng)理由的情況下,人們很容易相信采用新技術(shù)的炒作和趨勢(shì),但這無(wú)疑會(huì)導(dǎo)致失望,并可能拒絕企業(yè)未來(lái)可以從中受益的實(shí)際用例。更好的方法是保持頭腦冷靜,投入時(shí)間了解相關(guān)技術(shù),并與利益相關(guān)者合作,評(píng)估可以從集成中獲得的好處。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會(huì)上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽(yáng)成功舉辦。