研究人員來自伊利諾伊大學厄巴納 - 香檳分校和微軟提出了一種名為 FastGen 的高效技術,通過使用輕量級模型分析和自適應鍵值緩來提高 LLM 的推理效率,而不會降低可見質量。FastGen 通過自適應的鍵值緩存構造來減少生成推理過程中的 GPU 內存使用量。
FastGen 的自適應鍵值緩存壓縮方法減小了 LLM 生成推理內存占用。該方法涉及兩個步驟:
1. 提示編碼:注意模塊需要從前面的 i-1標記中收集上下文信息,以生成 LLM 的第 i 個標記。
2. 令牌生成:當完成提示編碼后,M 逐個標記生成輸出,對于每個步驟,使用 LLM 對上一步生成的新標記進行編碼。
對于 B 模型,FastGen 在所有非自適應鍵值緩存壓縮方法中表現最佳,并隨著模型規(guī)模的增加而得更高的鍵值緩存壓縮比例,同時保持模型的質量不受影響。例如,與 Llama17B 上的16.9% 壓縮比例相比,FastGen 在 Llama1-65B 上獲得了44.9% 的縮比例,達到了45% 的勝率。此外,對 FastGen 進行了敏感性分析,選擇了不同的超。由于模型保持45% 的勝率,研究表明在更改超參數后對生成質量沒有明顯影響。
伊利諾伊大學厄巴納 - 香檳分校和微軟的研究人員提出了 FastGen,一種新的技,通過使用輕量級模型分析和自適應鍵值緩存來提高 LLM 的推理效率,而不會降低見質量。研究人員引入的自適應鍵值緩存壓縮通過 FastGen 構建,以減少 LLM 生成推的內存占用。未來的工作包括將 FastGen 與其他模型壓縮方法(如量化和蒸餾、分組查詢注意等)進行整合。
文章內容僅供閱讀,不構成投資建議,請謹慎對待。投資者據此操作,風險自擔。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術、產品設計及應用方面的創(chuàng)新變革,全球領先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產品設計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術和新品亮相,以敢為精神勇闖技術無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導,由上海市人工智能行業(yè)協(xié)會聯合上海人工智能實驗室、上海臨港經濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。