BiTA：創(chuàng)新AI方法加速大型語言模型生成

　　2月2日 消息:近年來，基于transformer架構(gòu)的大型語言模型(LLMs)已經(jīng)嶄露頭角。Chat-GPT和LLaMA-2等模型展示了LLMs參數(shù)的迅速增加，從幾十億到數(shù)萬億。盡管LLMs是非常強大的生成器，但由于所有參數(shù)的計算負載，它們在推理延遲方面存在問題。因此，人們一直在努力加速LLMs的推理，尤其是在像邊緣設(shè)備和實時應(yīng)用(如聊天機器人)等資源受限的情境中。

　　最近的研究表明，大多數(shù)僅解碼器的LLMs遵循逐標記生成模式。由于標記生成的自回歸(AR)性質(zhì)，每個標記必須經(jīng)過推理執(zhí)行，導(dǎo)致許多transformer調(diào)用。這些調(diào)用針對內(nèi)存帶寬限制運行，常常導(dǎo)致降低計算效率和較長的墻鐘周期。

　　通過在單個模型推理步驟中同時合成多個標記，半自回歸(SAR)解碼減少了推理執(zhí)行的高需求。問題在于，大多數(shù)LLMs只能生成AR模型，而不能生成SAR模型。由于SAR目標和AR預(yù)訓(xùn)練不同步，重新訓(xùn)練SAR模型似乎是一項艱巨的任務(wù)。

　　Intellifusion Inc.和哈爾濱工業(yè)大學(xué)的研究人員希望通過他們的新加速方法，即雙向調(diào)優(yōu)以實現(xiàn)無損SAR解碼的Bi-directional Tuning for lossless Acceleration(BiTA)，通過學(xué)習(xí)少量額外的可訓(xùn)練參數(shù)，甚至只有0.01%。BiTA的兩個主要部分是建議的雙向調(diào)優(yōu)和簡化的SAR草稿候選驗證。為了預(yù)測未來的標記，AR模型的雙向調(diào)優(yōu)將提示和掩碼標記一起納入考慮，超越了下一個標記。標記序列中的可學(xué)習(xí)前綴和后綴嵌入是這種方法的一個隱喻。在變換后的AR模型中，通過復(fù)雜的基于樹的注意機制，生成和驗證在單個前向傳遞中同時進行，無需額外的驗證程序或第三方驗證模型。建議的方法使用快速調(diào)優(yōu)，可作為插拔模塊用于加速任何公開可訪問的基于transformer的LLMs，特別是那些經(jīng)過良好指導(dǎo)的聊天機器人，而不削弱其出色的生成能力。

　　該模型使用基于樹的解碼技術(shù)在并行中執(zhí)行高效的創(chuàng)建和驗證。BiTA的這兩個方面共同作用，加速LLMs的同時保持原始輸出不變。在對不同大小的LLMs進行了廣泛的生成任務(wù)測試后，研究發(fā)現(xiàn)其印象深刻的加速效果范圍為2.1×至3.3×。此外，當資源受限或需要實時應(yīng)用時，BiTA的可調(diào)提示設(shè)計使其成為一種可插即用的方法，可用于加速任何公開可用的LLMs。