SambaNova發(fā)布全新AI芯片SN40L 可運(yùn)行5萬(wàn)億參數(shù)模型

　　9月26日，位于加利福尼亞帕洛阿爾托的SambaNova Systems公司宣布推出一款革命性的新芯片，名為SN40L。這款芯片將為SambaNova的全棧大語(yǔ)言模型(LLM)平臺(tái)SambaNova Suite提供動(dòng)力，并具有革命性的內(nèi)部設(shè)計(jì):在內(nèi)部，它提供了密集和稀疏計(jì)算，同時(shí)包括大內(nèi)存和快速內(nèi)存，使其成為一款真正的“智能芯片”。

　　SambaNova的SN40L芯片由TSMC制造，可以為5萬(wàn)億參數(shù)模型提供256k+的序列長(zhǎng)度，這在單個(gè)系統(tǒng)節(jié)點(diǎn)上實(shí)現(xiàn)，這是通過(guò)整合技術(shù)的新突破，大大提高了模型質(zhì)量，同時(shí)實(shí)現(xiàn)更快的推理和訓(xùn)練速度，降低了總擁有成本。

　　SambaNova Systems的聯(lián)合創(chuàng)始人兼CEO Rodrigo Liang表示:“今天，SambaNova提供了唯一的全棧LLM平臺(tái)——SambaNova Suite，現(xiàn)在還有一款智能AI芯片;這對(duì)全球2000家企業(yè)來(lái)說(shuō)是一個(gè)改變游戲規(guī)則的產(chǎn)品。”他還表示:“我們現(xiàn)在能夠在一個(gè)芯片中提供這兩種能力——更多內(nèi)存的能力，以及最智能的計(jì)算核心——使組織能夠充分利用廣泛應(yīng)用人工智能的承諾，擁有自己的LLM，可以媲美GPT-4及更高級(jí)別的模型。”

　　這款新芯片只是SambaNova全棧LLM平臺(tái)的一部分，該平臺(tái)解決了企業(yè)在部署生成式人工智能時(shí)面臨的最大挑戰(zhàn):“我們已經(jīng)開始看到對(duì)較小模型的需求增加，但更大的模型仍然更好，更大的模型將開始變得更加模塊化，”SambaNova Systems的聯(lián)合創(chuàng)始人Kunle Olukotun表示，“客戶要求擁有像GPT-4這樣的千億參數(shù)模型的LLM，但他們也希望擁有根據(jù)他們的數(shù)據(jù)進(jìn)行優(yōu)化的模型。通過(guò)新的SN40L芯片，我們迄今為止最先進(jìn)的AI芯片，集成到全棧LLM平臺(tái)中，我們?yōu)榭蛻籼峁┝诉\(yùn)行最大LLM模型的關(guān)鍵，具有更高的訓(xùn)練和推理性能，而不損害模型準(zhǔn)確性。”

　　SN40L芯片的獨(dú)特之處在于它可以同時(shí)處理高帶寬內(nèi)存(HBM)和動(dòng)態(tài)隨機(jī)存取內(nèi)存(DRAM)，使人工智能算法能夠選擇最適合當(dāng)前任務(wù)的內(nèi)存，從而直接訪問(wèn)遠(yuǎn)比以前更多的內(nèi)存。此外，通過(guò)使用SambaNova的可重構(gòu)數(shù)據(jù)單元(RDU)架構(gòu)，芯片設(shè)計(jì)以更智能的計(jì)算方式高效運(yùn)行稀疏模型。

　　SambaNova Suite中的新模型和功能包括Llama2變種(7B、70B)，使客戶能夠自適應(yīng)、擴(kuò)展并運(yùn)行最佳的LLM模型，同時(shí)保留這些模型的所有權(quán)。此外，還有BLOOM176B，這是開源社區(qū)中最準(zhǔn)確的多語(yǔ)言基礎(chǔ)模型，使客戶能夠通過(guò)各種語(yǔ)言解決更多問(wèn)題，同時(shí)還可以擴(kuò)展模型以支持新的低資源語(yǔ)言。

　　SambaNova 還包括一個(gè)用于基于向量的檢索增強(qiáng)生成的新嵌入模型，使客戶能夠?qū)⑵湮臋n嵌入到向量嵌入中，在問(wèn)答過(guò)程中檢索這些嵌入，而不會(huì)導(dǎo)致幻覺。LLM然后將結(jié)果用于分析、提取或總結(jié)信息。此外，還有世界領(lǐng)先的自動(dòng)語(yǔ)音識(shí)別模型，用于轉(zhuǎn)錄和分析語(yǔ)音數(shù)據(jù)，以及其他多模態(tài)和長(zhǎng)序列長(zhǎng)度功能。此外，還提供了推理優(yōu)化系統(tǒng)，配備了3層數(shù)據(jù)流內(nèi)存，以實(shí)現(xiàn)高帶寬和高容量。