微軟新工具LLMLingua-2：可將 AI 提示壓縮高達(dá)80%，節(jié)省時(shí)間和成本

　　微軟研究發(fā)布了名為 LLMLingua-2的模型，用于任務(wù)不可知的提示壓縮。該模型通過(guò)智能地去除長(zhǎng)提示中的不必要詞語(yǔ)或標(biāo)記，同時(shí)保留關(guān)鍵信息，使得提示長(zhǎng)度可減少至原長(zhǎng)度的20%，從而降低成本和延遲。研究團(tuán)隊(duì)寫(xiě)道:“自然語(yǔ)言存在冗余，信息量不盡相同。”

　　LLMLingua-2比其前身 LLMLingua 和類(lèi)似方法快3到6倍。LLMLingua-2使用了 MeetingBank 中的示例進(jìn)行訓(xùn)練，該數(shù)據(jù)集包含會(huì)議記錄及其摘要。要對(duì)文本進(jìn)行壓縮，首先將原始文本輸入訓(xùn)練好的模型。模型對(duì)每個(gè)詞語(yǔ)進(jìn)行評(píng)分，根據(jù)周?chē)�語(yǔ)境為其分配保留或移除的點(diǎn)數(shù)。然后選擇具有最高保留值的詞語(yǔ)，以創(chuàng)建縮短的提示。

　　微軟研究團(tuán)隊(duì)在多個(gè)數(shù)據(jù)集上對(duì) LLMLingua-2進(jìn)行了評(píng)估，包括 MeetingBank、LongBench、ZeroScrolls、GSM8K 和 BBH。盡管模型規(guī)模較小，但在各種語(yǔ)言任務(wù)(如問(wèn)答、摘要和邏輯推理)中，它始終優(yōu)于原始的 LLMLingua 和選擇性上下文策略。同樣，相同的壓縮策略對(duì)不同 LLM(從 GPT-3.5到 Mistral-7B)和語(yǔ)言(從英語(yǔ)到中文)都有效。

　　LLMLingua-2只需兩行代碼就可以實(shí)現(xiàn)。該模型還已集成到廣泛使用的 RAG 框架 LangChain 和 LlamaIndex 中。微軟提供了演示、實(shí)際應(yīng)用示例以及說(shuō)明提示壓縮的好處和成本節(jié)省的腳本。該公司認(rèn)為這是一個(gè)有前途的方法，可以通過(guò)壓縮提示實(shí)現(xiàn)更好的泛化能力和效率。