微軟LongRoPE方法讓LLM上下文窗口突破 200 萬 8倍擴展還保持性能

　　近日，微軟研究人員提出的 LongRoPE 方法首次將預訓練的大型語言模型(LLM)的上下文窗口擴展至2048k 個 token，實現(xiàn)了8倍的擴展同時保持原始短上下文窗口的性能，而無需進行架構變化和復雜微調(diào)。

　　該方法的關鍵創(chuàng)新點包括通過高效搜索識別并利用了位置插值中的兩種非均勻性，為微調(diào)提供更好的初始化，并在非微調(diào)情況下實現(xiàn)了8倍擴展;引入了漸進擴展策略，首先微調(diào)256k 長度的 LLM，然后在微調(diào)擴展的 LLM 上進行第二次位置插值，以實現(xiàn)2048k 上下文窗口;在8k 長度上重新調(diào)整 LongRoPE 以恢復短上下文窗口性能。

　　實驗結果表明，LongRoPE 方法成功將 LLM 的上下文窗口擴展至2048k，并在256k 的范圍內(nèi)展現(xiàn)出整體困惑度下降的趨勢，同時在較短長度內(nèi)保持與基線相當或更好的困惑度。這一突破性的方法為語言模型的性能提升帶來了新的可能性，也為未來的研究和應用奠定了堅實的基礎。