E Ink元太科技連三年入選道瓊可持續(xù)雙指數(shù)撬動6000億GTV后,抖音計劃偷襲美團(tuán)大本營AGI Open Network(AON):賦能每個人創(chuàng)建、部署和貨幣化AI Agent貸款利率史上最低了嗎?東融教你看懂歷年啥水平“客服來電”有詐?抖音客服上線“驗(yàn)證助手”助用戶識別詐騙OpenAI新模型GPT-5研發(fā)未達(dá)預(yù)期:成本高昂 效果不佳曝天馬打入果鏈:為蘋果HomePod供應(yīng)LCD屏 每塊屏僅10美元曝OPPO或首發(fā)新款天璣次旗艦芯片 兩大子品牌Q2發(fā)力諾基亞攜手阿聯(lián)酋運(yùn)營商e&,展示全球首個固網(wǎng)游戲端到端網(wǎng)絡(luò)切片方案零下25℃制熱26℃!海爾水暖通黑科技亮相冰雪大世界三星沒放棄曲面屏開發(fā)!最新專利曝光暗示有望回歸三大運(yùn)營商11月成績單:用戶數(shù)據(jù)增幅放緩打造下一個英偉達(dá),孫正義的2026芯片計劃曝光瞭望2025全球6G技術(shù)發(fā)展趨勢AI時代云安全新范式,暢捷通智能守護(hù)小微企業(yè)安全上云百川智能發(fā)布全鏈路領(lǐng)域增強(qiáng)金融大模型 Baichuan4-Finance年末家電消費(fèi)觀察:品質(zhì)生活類產(chǎn)品熱賣,將持續(xù)迎來剛需式普及?GPT-5研發(fā)受阻:OpenAI 新一代模型難見突破性進(jìn)展新一代語言模型ModernBERT發(fā)布,RAG等任務(wù)處理速度快四倍、成本低新研究顯示:Anthropic 的 Claude AI 在合作能力上領(lǐng)先于 OpenAI 和谷歌模型
  • 首頁 > 云計算頻道 > 大模型

    20倍的壓縮比例!微軟發(fā)布LLMLingua:壓縮長提示并加快模型推理速度

    2023年12月14日 10:22:05   來源:站長之家

      微軟的研究團(tuán)隊開發(fā)了一種名為 LLMLingua 的獨(dú)特粗細(xì)壓縮技術(shù),旨在解決大型語言模型(LLMs)中長提示帶來的問題。LLMs 以其強(qiáng)大的泛化和推理能力顯著推動了人工智能(AI)領(lǐng)域的發(fā)展,展示了自然語言處理(NLP)、自然語言生成(NLG)、計算機(jī)視覺等方面的能力。然而,最新的發(fā)展,如上下文學(xué)習(xí)(ICL)和思維鏈(CoT)提示,導(dǎo)致了部署更長提示的需求,有時甚至超過數(shù)萬個標(biāo)記。這在模型推理方面帶來了成本效益和計算效率的問題。

      為了克服這些挑戰(zhàn),微軟團(tuán)隊引入了 LLMLingua,一種獨(dú)特的粗細(xì)壓縮技術(shù)。LLMLingua 的主要目標(biāo)是減少處理長提示的費(fèi)用,并加快模型推理速度。為此,LLMLingua 采用了以下幾種關(guān)鍵策略:

      1. 預(yù)算控制器:設(shè)計了一個動態(tài)預(yù)算控制器,用于在原始提示的各個部分之間分配壓縮比例。這確保了即使在大比例壓縮下,提示的語義完整性也得到保留。

      2. 標(biāo)記級迭代壓縮算法:LLMLingua 集成了一種標(biāo)記級迭代壓縮算法,通過捕捉壓縮元素之間的相互依賴關(guān)系,實(shí)現(xiàn)更復(fù)雜的壓縮,并保持關(guān)鍵提示信息。

      3. 指令調(diào)整方法:團(tuán)隊提出了一種基于指令調(diào)整的方法,用于解決語言模型之間的分布不一致問題。調(diào)整語言模型的分布可以提高用于快速壓縮的小型語言模型與預(yù)期 LLM 之間的兼容性。

      團(tuán)隊使用來自不同情境的四個數(shù)據(jù)集進(jìn)行了分析和實(shí)驗(yàn),以驗(yàn)證 LLMLingua 的實(shí)用性。這些數(shù)據(jù)集包括推理的 GSM8K 和 BBH,對話的 ShareGPT 以及摘要的 Arxiv-March23。結(jié)果顯示,該方法在每種情境下都實(shí)現(xiàn)了最先進(jìn)的性能。結(jié)果甚至表明,LLMLingua 在犧牲很少性能的情況下允許高達(dá)20倍的壓縮。

      實(shí)驗(yàn)中使用的小型語言模型是 LLaMA-7B,閉合的 LLM 是 GPT-3.5-Turbo-0301。LLMLingua 在最大壓縮比例為20倍時優(yōu)于先前的壓縮技術(shù),保留了推理、摘要和話語技能,展現(xiàn)了彈性、經(jīng)濟(jì)性、高效性和可恢復(fù)性。

      LLMLingua 的有效性已經(jīng)在一系列閉合 LLMs 和小型語言模型中得到觀察。在使用 GPT-2-small 時,LLMLingua 顯示出與較大模型相當(dāng)?shù)男阅芙Y(jié)果。它還在強(qiáng)大的 LLMs 上表現(xiàn)出色,超出了預(yù)期的快速結(jié)果。

      LLMLingua 的可恢復(fù)性是一個值得注意的方面,當(dāng)用于恢復(fù)壓縮提示時,GPT-4可以有效地從完整的九步 CoT 提示中檢索重要的推理信息,保持原始提示的意義和相似性。這個功能確保了可恢復(fù)性,即使在翻譯后也能保留關(guān)鍵信息,增加了 LLMLingua 的整體亮點(diǎn)。

      ,LLMLingua 為 LLM 應(yīng)用程序中長提示所帶來的困難提供了全面的解決方案。該方法表現(xiàn)出色,并提供了一種改善 LLM 應(yīng)用程序的效果和可負(fù)擔(dān)性的有用方式。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。