微軟LongRoPE方法讓LLM上下文窗口突破 200 萬 8倍擴(kuò)展還保持性能

　　近日，微軟研究人員提出的 LongRoPE 方法首次將預(yù)訓(xùn)練的大型語言模型(LLM)的上下文窗口擴(kuò)展至2048k 個(gè) token，實(shí)現(xiàn)了8倍的擴(kuò)展同時(shí)保持原始短上下文窗口的性能，而無需進(jìn)行架構(gòu)變化和復(fù)雜微調(diào)。

　　該方法的關(guān)鍵創(chuàng)新點(diǎn)包括通過高效搜索識(shí)別并利用了位置插值中的兩種非均勻性，為微調(diào)提供更好的初始化，并在非微調(diào)情況下實(shí)現(xiàn)了8倍擴(kuò)展;引入了漸進(jìn)擴(kuò)展策略，首先微調(diào)256k 長(zhǎng)度的 LLM，然后在微調(diào)擴(kuò)展的 LLM 上進(jìn)行第二次位置插值，以實(shí)現(xiàn)2048k 上下文窗口;在8k 長(zhǎng)度上重新調(diào)整 LongRoPE 以恢復(fù)短上下文窗口性能。

　　實(shí)驗(yàn)結(jié)果表明，LongRoPE 方法成功將 LLM 的上下文窗口擴(kuò)展至2048k，并在256k 的范圍內(nèi)展現(xiàn)出整體困惑度下降的趨勢(shì)，同時(shí)在較短長(zhǎng)度內(nèi)保持與基線相當(dāng)或更好的困惑度。這一突破性的方法為語言模型的性能提升帶來了新的可能性，也為未來的研究和應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)。