BiTA：創(chuàng)新AI方法加速大型語(yǔ)言模型生成

　　2月2日 消息:近年來(lái)，基于transformer架構(gòu)的大型語(yǔ)言模型(LLMs)已經(jīng)嶄露頭角。Chat-GPT和LLaMA-2等模型展示了LLMs參數(shù)的迅速增加，從幾十億到數(shù)萬(wàn)億。盡管LLMs是非常強(qiáng)大的生成器，但由于所有參數(shù)的計(jì)算負(fù)載，它們?cè)谕评硌舆t方面存在問(wèn)題。因此，人們一直在努力加速LLMs的推理，尤其是在像邊緣設(shè)備和實(shí)時(shí)應(yīng)用(如聊天機(jī)器人)等資源受限的情境中。

　　最近的研究表明，大多數(shù)僅解碼器的LLMs遵循逐標(biāo)記生成模式。由于標(biāo)記生成的自回歸(AR)性質(zhì)，每個(gè)標(biāo)記必須經(jīng)過(guò)推理執(zhí)行，導(dǎo)致許多transformer調(diào)用。這些調(diào)用針對(duì)內(nèi)存帶寬限制運(yùn)行，常常導(dǎo)致降低計(jì)算效率和較長(zhǎng)的墻鐘周期。

　　通過(guò)在單個(gè)模型推理步驟中同時(shí)合成多個(gè)標(biāo)記，半自回歸(SAR)解碼減少了推理執(zhí)行的高需求。問(wèn)題在于，大多數(shù)LLMs只能生成AR模型，而不能生成SAR模型。由于SAR目標(biāo)和AR預(yù)訓(xùn)練不同步，重新訓(xùn)練SAR模型似乎是一項(xiàng)艱巨的任務(wù)。

　　Intellifusion Inc.和哈爾濱工業(yè)大學(xué)的研究人員希望通過(guò)他們的新加速方法，即雙向調(diào)優(yōu)以實(shí)現(xiàn)無(wú)損SAR解碼的Bi-directional Tuning for lossless Acceleration(BiTA)，通過(guò)學(xué)習(xí)少量額外的可訓(xùn)練參數(shù)，甚至只有0.01%。BiTA的兩個(gè)主要部分是建議的雙向調(diào)優(yōu)和簡(jiǎn)化的SAR草稿候選驗(yàn)證。為了預(yù)測(cè)未來(lái)的標(biāo)記，AR模型的雙向調(diào)優(yōu)將提示和掩碼標(biāo)記一起納入考慮，超越了下一個(gè)標(biāo)記。標(biāo)記序列中的可學(xué)習(xí)前綴和后綴嵌入是這種方法的一個(gè)隱喻。在變換后的AR模型中，通過(guò)復(fù)雜的基于樹(shù)的注意機(jī)制，生成和驗(yàn)證在單個(gè)前向傳遞中同時(shí)進(jìn)行，無(wú)需額外的驗(yàn)證程序或第三方驗(yàn)證模型。建議的方法使用快速調(diào)優(yōu)，可作為插拔模塊用于加速任何公開(kāi)可訪問(wèn)的基于transformer的LLMs，特別是那些經(jīng)過(guò)良好指導(dǎo)的聊天機(jī)器人，而不削弱其出色的生成能力。

　　該模型使用基于樹(shù)的解碼技術(shù)在并行中執(zhí)行高效的創(chuàng)建和驗(yàn)證。BiTA的這兩個(gè)方面共同作用，加速LLMs的同時(shí)保持原始輸出不變。在對(duì)不同大小的LLMs進(jìn)行了廣泛的生成任務(wù)測(cè)試后，研究發(fā)現(xiàn)其印象深刻的加速效果范圍為2.1×至3.3×。此外，當(dāng)資源受限或需要實(shí)時(shí)應(yīng)用時(shí)，BiTA的可調(diào)提示設(shè)計(jì)使其成為一種可插即用的方法，可用于加速任何公開(kāi)可用的LLMs。