AI領(lǐng)域的新速度之王Samba-1 Turbo：每秒1084 個(gè)token

　　AI芯片廠商SambaNovaAI最新推出的AI芯片Samba-1Turbo表現(xiàn)出色，被稱為AI領(lǐng)域的新速度之王。據(jù)外部機(jī)構(gòu)Artificial Analysis獨(dú)立測試結(jié)果顯示，Samba-1Turbo在Llama3Instruct(8B)上的輸出速度達(dá)到每秒1，084個(gè)token，創(chuàng)下了目前為止最快的記錄。這一速度比MetaAI的Llama3Instruct(8B)API提供商的中位速度快8倍以上，甚至超越了之前推理速度最快的Groq。

　　Samba-1Turbo芯片是SambaNova的第四代設(shè)計(jì)，采用臺(tái)積電的5nm工藝制造，具有支持更大模型的潛力，例如Llama3400B+。Artificial Analysis還驗(yàn)證了在Samba-1Turbo上運(yùn)行的Llama3Instruct(8B)通過MMLU基準(zhǔn)測試，質(zhì)量得分與全FP16精度一致。

　　Samba-1Turbo的出現(xiàn)引發(fā)了業(yè)界的關(guān)注和討論，被稱為AI領(lǐng)域的新寵。該款A(yù)I芯片的性能表現(xiàn)令人驚嘆，有望為人工智能應(yīng)用帶來全新的發(fā)展可能性。AI領(lǐng)域的競爭愈發(fā)激烈，Samba-1Turbo的問世必將為SambaNovaAI贏得更多市場份額。

　　SambaNova 目前尚未公開提供無服務(wù)器 API，但您可以通過他們的聊天界面試用他們的系統(tǒng)。