Together AI發(fā)布AI模型StripedHyena-7B 性能超越Llama-27B

　　Together AI最新發(fā)布了StripedHyena-7B，這一人工智能模型領(lǐng)域的創(chuàng)新力量引起了廣泛關(guān)注。該模型的基礎(chǔ)版本為StripedHyena-Hessian-7B(SH7B)，同時(shí)還推出了聊天模型StripedHyena-Nous-7B(SH-N7B)。StripedHyena基于上一年創(chuàng)建的一系列有效的序列建模架構(gòu)(如H3、Hyena、HyenaDNA和Monarch Mixer)的重要經(jīng)驗(yàn)教訓(xùn)。

　　研究人員強(qiáng)調(diào)，StripedHyena在訓(xùn)練、微調(diào)和生成長序列過程中處理效率更高，具備更快的速度和更高的內(nèi)存效率。通過采用獨(dú)特的混合技術(shù)，StripedHyena將門控卷積和注意力結(jié)合成了所謂的Hyena運(yùn)算符。在短序列任務(wù)中，包括OpenLLM排行榜任務(wù)，StripedHyena在性能上超越了Llama-27B、Yi7B以及最強(qiáng)大的Transformer替代品，如RWKV14B。

　　該模型在處理短序列任務(wù)和處理長提示的各種基準(zhǔn)測試中都進(jìn)行了評估。通過對Project Gutenberg書籍進(jìn)行的困惑度縮放實(shí)驗(yàn)顯示，困惑度在32k處飽和，或在此點(diǎn)以下減少，表明該模型能夠從更長的提示中吸收信息。

　　StripedHyena通過將注意力和門控卷積組合成Hyena運(yùn)算符的獨(dú)特混合結(jié)構(gòu)實(shí)現(xiàn)了高效性。研究人員采用創(chuàng)新的嫁接技術(shù)對這種混合設(shè)計(jì)進(jìn)行了優(yōu)化，使其在訓(xùn)練過程中能夠進(jìn)行體系結(jié)構(gòu)修改。

　　研究人員強(qiáng)調(diào)StripedHyena的關(guān)鍵優(yōu)勢之一是其在訓(xùn)練、微調(diào)和生成長序列等各種任務(wù)中的提速和內(nèi)存效率。在端到端訓(xùn)練的32k、64k和128k行上，StripedHyena相對于優(yōu)化的Transformer基線(使用FlashAttention v2和自定義內(nèi)核)分別提高了30%、50%和100%。

　　未來，研究人員希望在StripedHyena模型的多個(gè)領(lǐng)域取得重大進(jìn)展。他們計(jì)劃構(gòu)建更大的模型，以處理更長的上下文，拓展信息理解的界限。此外，他們計(jì)劃引入多模態(tài)支持，通過允許模型處理和理解來自文本和圖像等各種來源的數(shù)據(jù)，提高模型的適應(yīng)性。

　　StripedHyena模型有望通過引入額外的計(jì)算(例如在門控卷積中使用多個(gè)頭部)在性能上超越Transformer模型。這種受線性注意力啟發(fā)的方法在H3和MultiHyena等架構(gòu)中被證明在訓(xùn)練期間提高模型質(zhì)量，并為推斷效率提供優(yōu)勢。讀者可以查看該項(xiàng)目的博客和項(xiàng)目詳細(xì)信息，對此研究給予所有研究人員應(yīng)有的贊譽(yù)。