微軟的研究團隊開發(fā)了一種名為 LLMLingua 的獨特粗細壓縮技術(shù),旨在解決大型語言模型(LLMs)中長提示帶來的問題。LLMs 以其強大的泛化和推理能力顯著推動了人工智能(AI)領(lǐng)域的發(fā)展,展示了自然語言處理(NLP)、自然語言生成(NLG)、計算機視覺等方面的能力。然而,最新的發(fā)展,如上下文學習(ICL)和思維鏈(CoT)提示,導致了部署更長提示的需求,有時甚至超過數(shù)萬個標記。這在模型推理方面帶來了成本效益和計算效率的問題。
為了克服這些挑戰(zhàn),微軟團隊引入了 LLMLingua,一種獨特的粗細壓縮技術(shù)。LLMLingua 的主要目標是減少處理長提示的費用,并加快模型推理速度。為此,LLMLingua 采用了以下幾種關(guān)鍵策略:
1. 預算控制器:設(shè)計了一個動態(tài)預算控制器,用于在原始提示的各個部分之間分配壓縮比例。這確保了即使在大比例壓縮下,提示的語義完整性也得到保留。
2. 標記級迭代壓縮算法:LLMLingua 集成了一種標記級迭代壓縮算法,通過捕捉壓縮元素之間的相互依賴關(guān)系,實現(xiàn)更復雜的壓縮,并保持關(guān)鍵提示信息。
3. 指令調(diào)整方法:團隊提出了一種基于指令調(diào)整的方法,用于解決語言模型之間的分布不一致問題。調(diào)整語言模型的分布可以提高用于快速壓縮的小型語言模型與預期 LLM 之間的兼容性。
團隊使用來自不同情境的四個數(shù)據(jù)集進行了分析和實驗,以驗證 LLMLingua 的實用性。這些數(shù)據(jù)集包括推理的 GSM8K 和 BBH,對話的 ShareGPT 以及摘要的 Arxiv-March23。結(jié)果顯示,該方法在每種情境下都實現(xiàn)了最先進的性能。結(jié)果甚至表明,LLMLingua 在犧牲很少性能的情況下允許高達20倍的壓縮。
實驗中使用的小型語言模型是 LLaMA-7B,閉合的 LLM 是 GPT-3.5-Turbo-0301。LLMLingua 在最大壓縮比例為20倍時優(yōu)于先前的壓縮技術(shù),保留了推理、摘要和話語技能,展現(xiàn)了彈性、經(jīng)濟性、高效性和可恢復性。
LLMLingua 的有效性已經(jīng)在一系列閉合 LLMs 和小型語言模型中得到觀察。在使用 GPT-2-small 時,LLMLingua 顯示出與較大模型相當?shù)男阅芙Y(jié)果。它還在強大的 LLMs 上表現(xiàn)出色,超出了預期的快速結(jié)果。
LLMLingua 的可恢復性是一個值得注意的方面,當用于恢復壓縮提示時,GPT-4可以有效地從完整的九步 CoT 提示中檢索重要的推理信息,保持原始提示的意義和相似性。這個功能確保了可恢復性,即使在翻譯后也能保留關(guān)鍵信息,增加了 LLMLingua 的整體亮點。
,LLMLingua 為 LLM 應用程序中長提示所帶來的困難提供了全面的解決方案。該方法表現(xiàn)出色,并提供了一種改善 LLM 應用程序的效果和可負擔性的有用方式。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計及應用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設(shè)計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導,由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。