微軟公布輔助模型 ICAE 可進行高效的上下文壓縮

　　根據(jù)Arxiv平臺發(fā)布的信息，微軟公司近期公開了一項關(guān)于In-context Autoencoder(ICAE)模型的研究論文。這款模型的應(yīng)用領(lǐng)域是大型語言模型(LLM)，主要目的在于進行高效的上下文壓縮。

　　遺式透露，ICAE模型實際上包括兩個主要模塊。一個是可學習的編碼器，其通過對LLM進行LoRA(Long Range Arena)策略進行采用、調(diào)整，具備了將長篇幅的上下文壓縮至有限數(shù)量的存儲槽的能力。另一個模塊則是一個固定的解碼器，而這個解碼器能夠根據(jù)存儲槽中已經(jīng)壓縮的上下文信息，進行適當?shù)臈l件選擇以達成各種目標。

　　實驗結(jié)果顯示，ICAE模型可以有效地生成具有4倍上下文壓縮能力的存儲槽，并且其固定解碼器能夠非常好地對存儲槽中的信息進行條件選擇，從而幫助模型產(chǎn)生恰當?shù)捻憫?yīng)。

　　這表明，利用ICAE的特性，可以有效降低語言模型處理復(fù)雜上下文信息時的計算負擔，從而提高模型的性能和效率。這也再次證明了微軟公司在人工智能和自然語言處理領(lǐng)域的領(lǐng)先地位。