9月26日,位于加利福尼亞帕洛阿爾托的SambaNova Systems公司宣布推出一款革命性的新芯片,名為SN40L。這款芯片將為SambaNova的全棧大語(yǔ)言模型(LLM)平臺(tái)SambaNova Suite提供動(dòng)力,并具有革命性的內(nèi)部設(shè)計(jì):在內(nèi)部,它提供了密集和稀疏計(jì)算,同時(shí)包括大內(nèi)存和快速內(nèi)存,使其成為一款真正的“智能芯片”。
SambaNova的SN40L芯片由TSMC制造,可以為5萬(wàn)億參數(shù)模型提供256k+的序列長(zhǎng)度,這在單個(gè)系統(tǒng)節(jié)點(diǎn)上實(shí)現(xiàn),這是通過(guò)整合技術(shù)的新突破,大大提高了模型質(zhì)量,同時(shí)實(shí)現(xiàn)更快的推理和訓(xùn)練速度,降低了總擁有成本。
SambaNova Systems的聯(lián)合創(chuàng)始人兼CEO Rodrigo Liang表示:“今天,SambaNova提供了唯一的全棧LLM平臺(tái)——SambaNova Suite,現(xiàn)在還有一款智能AI芯片;這對(duì)全球2000家企業(yè)來(lái)說(shuō)是一個(gè)改變游戲規(guī)則的產(chǎn)品。”他還表示:“我們現(xiàn)在能夠在一個(gè)芯片中提供這兩種能力——更多內(nèi)存的能力,以及最智能的計(jì)算核心——使組織能夠充分利用廣泛應(yīng)用人工智能的承諾,擁有自己的LLM,可以媲美GPT-4及更高級(jí)別的模型。”
這款新芯片只是SambaNova全棧LLM平臺(tái)的一部分,該平臺(tái)解決了企業(yè)在部署生成式人工智能時(shí)面臨的最大挑戰(zhàn):“我們已經(jīng)開始看到對(duì)較小模型的需求增加,但更大的模型仍然更好,更大的模型將開始變得更加模塊化,”SambaNova Systems的聯(lián)合創(chuàng)始人Kunle Olukotun表示,“客戶要求擁有像GPT-4這樣的千億參數(shù)模型的LLM,但他們也希望擁有根據(jù)他們的數(shù)據(jù)進(jìn)行優(yōu)化的模型。通過(guò)新的SN40L芯片,我們迄今為止最先進(jìn)的AI芯片,集成到全棧LLM平臺(tái)中,我們?yōu)榭蛻籼峁┝诉\(yùn)行最大LLM模型的關(guān)鍵,具有更高的訓(xùn)練和推理性能,而不損害模型準(zhǔn)確性。”
SN40L芯片的獨(dú)特之處在于它可以同時(shí)處理高帶寬內(nèi)存(HBM)和動(dòng)態(tài)隨機(jī)存取內(nèi)存(DRAM),使人工智能算法能夠選擇最適合當(dāng)前任務(wù)的內(nèi)存,從而直接訪問(wèn)遠(yuǎn)比以前更多的內(nèi)存。此外,通過(guò)使用SambaNova的可重構(gòu)數(shù)據(jù)單元(RDU)架構(gòu),芯片設(shè)計(jì)以更智能的計(jì)算方式高效運(yùn)行稀疏模型。
SambaNova Suite中的新模型和功能包括Llama2變種(7B、70B),使客戶能夠自適應(yīng)、擴(kuò)展并運(yùn)行最佳的LLM模型,同時(shí)保留這些模型的所有權(quán)。此外,還有BLOOM176B,這是開源社區(qū)中最準(zhǔn)確的多語(yǔ)言基礎(chǔ)模型,使客戶能夠通過(guò)各種語(yǔ)言解決更多問(wèn)題,同時(shí)還可以擴(kuò)展模型以支持新的低資源語(yǔ)言。
SambaNova 還包括一個(gè)用于基于向量的檢索增強(qiáng)生成的新嵌入模型,使客戶能夠?qū)⑵湮臋n嵌入到向量嵌入中,在問(wèn)答過(guò)程中檢索這些嵌入,而不會(huì)導(dǎo)致幻覺。LLM然后將結(jié)果用于分析、提取或總結(jié)信息。此外,還有世界領(lǐng)先的自動(dòng)語(yǔ)音識(shí)別模型,用于轉(zhuǎn)錄和分析語(yǔ)音數(shù)據(jù),以及其他多模態(tài)和長(zhǎng)序列長(zhǎng)度功能。此外,還提供了推理優(yōu)化系統(tǒng),配備了3層數(shù)據(jù)流內(nèi)存,以實(shí)現(xiàn)高帶寬和高容量。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會(huì)上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽(yáng)成功舉辦。