9月26日,位于加利福尼亞帕洛阿爾托的SambaNova Systems公司宣布推出一款革命性的新芯片,名為SN40L。這款芯片將為SambaNova的全棧大語言模型(LLM)平臺SambaNova Suite提供動力,并具有革命性的內(nèi)部設(shè)計(jì):在內(nèi)部,它提供了密集和稀疏計(jì)算,同時(shí)包括大內(nèi)存和快速內(nèi)存,使其成為一款真正的“智能芯片”。
SambaNova的SN40L芯片由TSMC制造,可以為5萬億參數(shù)模型提供256k+的序列長度,這在單個(gè)系統(tǒng)節(jié)點(diǎn)上實(shí)現(xiàn),這是通過整合技術(shù)的新突破,大大提高了模型質(zhì)量,同時(shí)實(shí)現(xiàn)更快的推理和訓(xùn)練速度,降低了總擁有成本。
SambaNova Systems的聯(lián)合創(chuàng)始人兼CEO Rodrigo Liang表示:“今天,SambaNova提供了唯一的全棧LLM平臺——SambaNova Suite,現(xiàn)在還有一款智能AI芯片;這對全球2000家企業(yè)來說是一個(gè)改變游戲規(guī)則的產(chǎn)品。”他還表示:“我們現(xiàn)在能夠在一個(gè)芯片中提供這兩種能力——更多內(nèi)存的能力,以及最智能的計(jì)算核心——使組織能夠充分利用廣泛應(yīng)用人工智能的承諾,擁有自己的LLM,可以媲美GPT-4及更高級別的模型。”
這款新芯片只是SambaNova全棧LLM平臺的一部分,該平臺解決了企業(yè)在部署生成式人工智能時(shí)面臨的最大挑戰(zhàn):“我們已經(jīng)開始看到對較小模型的需求增加,但更大的模型仍然更好,更大的模型將開始變得更加模塊化,”SambaNova Systems的聯(lián)合創(chuàng)始人Kunle Olukotun表示,“客戶要求擁有像GPT-4這樣的千億參數(shù)模型的LLM,但他們也希望擁有根據(jù)他們的數(shù)據(jù)進(jìn)行優(yōu)化的模型。通過新的SN40L芯片,我們迄今為止最先進(jìn)的AI芯片,集成到全棧LLM平臺中,我們?yōu)榭蛻籼峁┝诉\(yùn)行最大LLM模型的關(guān)鍵,具有更高的訓(xùn)練和推理性能,而不損害模型準(zhǔn)確性。”
SN40L芯片的獨(dú)特之處在于它可以同時(shí)處理高帶寬內(nèi)存(HBM)和動態(tài)隨機(jī)存取內(nèi)存(DRAM),使人工智能算法能夠選擇最適合當(dāng)前任務(wù)的內(nèi)存,從而直接訪問遠(yuǎn)比以前更多的內(nèi)存。此外,通過使用SambaNova的可重構(gòu)數(shù)據(jù)單元(RDU)架構(gòu),芯片設(shè)計(jì)以更智能的計(jì)算方式高效運(yùn)行稀疏模型。
SambaNova Suite中的新模型和功能包括Llama2變種(7B、70B),使客戶能夠自適應(yīng)、擴(kuò)展并運(yùn)行最佳的LLM模型,同時(shí)保留這些模型的所有權(quán)。此外,還有BLOOM176B,這是開源社區(qū)中最準(zhǔn)確的多語言基礎(chǔ)模型,使客戶能夠通過各種語言解決更多問題,同時(shí)還可以擴(kuò)展模型以支持新的低資源語言。
SambaNova 還包括一個(gè)用于基于向量的檢索增強(qiáng)生成的新嵌入模型,使客戶能夠?qū)⑵湮臋n嵌入到向量嵌入中,在問答過程中檢索這些嵌入,而不會導(dǎo)致幻覺。LLM然后將結(jié)果用于分析、提取或總結(jié)信息。此外,還有世界領(lǐng)先的自動語音識別模型,用于轉(zhuǎn)錄和分析語音數(shù)據(jù),以及其他多模態(tài)和長序列長度功能。此外,還提供了推理優(yōu)化系統(tǒng),配備了3層數(shù)據(jù)流內(nèi)存,以實(shí)現(xiàn)高帶寬和高容量。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國柏林國際電子消費(fèi)品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎”金獎,有力證明了其在全球市場的強(qiáng)大影響力。
近日,中國家電及消費(fèi)電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。