本文來自于微信公眾號 AIGC開放社區(qū)(ID:AIGCOPEN),作者:AIGC開放社區(qū)。
在長文本場景中,ChatGPT等大語言模型經(jīng)常面臨更高算力成本、更長的延遲以及更差的性能。為了解決這三大難題,微軟開源了LongLLMLingua。
據(jù)悉,LongLLMLingua的核心技術原理是將“文本提示”實現(xiàn)最高20倍的極限壓縮,同時又可以準確評估提示中內(nèi)容與問題的相關程度,消除無關內(nèi)容保留關鍵信息,達到降本增效目的。
實驗結果顯示,經(jīng)過LongLLMLingua壓縮后的提示,比原始提示的性能提升了17.1%,同時輸入GPT-3.5-Turbo的tokens減少了4倍。在LongBench和ZeroScrolls測試中顯示,每1,000個樣本節(jié)省28.5美元和27.4美元的成本。
當壓縮約10k tokens的提示,壓縮率在2-10倍范圍內(nèi)時,端到端延遲可以降低1.4-3.8倍,顯著加速了推理速率。
從介紹論文來看,LongLLMLingua主要由問題感知的粗細粒度壓縮、文檔重排序、動態(tài)壓縮比率和壓縮后子序列恢復4大模塊組成。
問題感知的粗粒度壓縮模塊
該模塊的設計思路是,使用問題文本進行條件化,評估每個段落與問題的相關程度,保留相關度更高的段落。
具體來說,通過計算問題文本與各段落的條件困惑度,判斷二者的邏輯關聯(lián)程度,條件困惑度越低表示相關性越高。
在此基礎上,設置閾值保留困惑度較低的段落,過濾掉與問題不相關的段落。這實現(xiàn)了根據(jù)問題快速移除大量冗余信息的粗粒度壓縮。
文檔重排序模塊
研究表明,在提示中,靠近開始和結束位置的內(nèi)容對語言模型的影響最大。所以該模塊根據(jù)各段落的相關程度對其進行重新排序,使關鍵信息出現(xiàn)在對模型更敏感的位置,減少中間位置信息損失。
通過利用粗粒度壓縮模塊計算出的各段落與問題的關聯(lián)度,對段落進行排序,使關聯(lián)度最高的段落排在最前面。這進一步增強了模型對關鍵信息的感知。
在獲取重排序后的相關段落后,需要進一步壓縮每個段落內(nèi)的詞量。此時動態(tài)壓縮比率模塊對提示進行精細調控。
動態(tài)壓縮比率模塊
對更相關的段落使用更低的壓縮比率,分配更多的保留詞語預算,而對相關性較弱的段落則使用更高的壓縮比率。
通過利用粗粒度壓縮結果中的段落關聯(lián)度,動態(tài)確定每個段落的壓縮比率。關聯(lián)度最高的段落壓縮比率最低,依次類推。
實現(xiàn)自適應、細粒度的壓縮控制,有效保留關鍵信息。壓縮后還需要提高結果的可靠性,這就需要下面的壓縮后子序列恢復模塊。
壓縮后子序列恢復模塊
在壓縮過程中,一些關鍵詞可能被過度刪除,影響信息的完整性,而該模塊可以檢測并恢復這些關鍵詞。
工作原理是,利用源文本、壓縮文本、生成文本之間的子序列關系,從生成結果中恢復完整的關鍵名詞詞組,修復壓縮帶來的信息缺失,提高結果的準確性。
整個過程有點像我們快速瀏覽文章、篩選信息、整合要點的工作流程等,使模型快速捕捉文本的關鍵信息,生成高質量的摘要。
LongLLMLingua實驗數(shù)據(jù)
研究人員構建了一個基于Natural Questions的多文檔問答數(shù)據(jù)集,其中每個示例包含一個問題及20個相關文檔,并需要從這20個文檔中查找到答案。
該數(shù)據(jù)集模擬了實際的搜索引擎和問答場景,可以評估模型在長文檔中的問答性能。
此外,研究人員還采用了更為通用的長文本理解基準測試集,包括LongBench和ZeroSCROLLS,以評估方法在更廣泛場景下的效果。
其中,LongBench覆蓋單文檔問答、多文檔問答、文本摘要、少樣本學習等任務,包含英文數(shù)據(jù)集。ZeroSCROLLS則包括文本摘要、問答理解、情感分析等典型語言理解任務。
在這些數(shù)據(jù)集上,研究人員比較了LongLLMLingua壓縮后的提示與原始提示在大語言模型上的性能。同時,也與其他提示壓縮方法進行了對比,如基于困惑度的LLMLingua和基于檢索的方法,評估了LongLLMLingua的有效性。
實驗結果顯示,LongLLMLingua壓縮后的提示在問答準確率、生成文本質量等指標上普遍優(yōu)于原始提示。
例如,在NaturalQuestions上,壓縮4倍的提示提升了17.1%的問答準確率。當壓縮約10k tokens的提示,壓縮率在2-10倍范圍內(nèi)時,端到端延遲可以降低1.4-3.8倍。這充分證明LongLLMLingua可以在壓縮提示的同時提升關鍵信息提取。
文章內(nèi)容僅供閱讀,不構成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術、產(chǎn)品設計及應用方面的創(chuàng)新變革,全球領先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術和新品亮相,以敢為精神勇闖技術無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導,由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。