Abacus AI 推出開放式上下文大語言模型Long Context

　　Abacus.AI LLM Context Expansion 是一款能夠擴展語境長度的工具，可以幫助用戶擴展模型的語境長度，提高模型對長文本的處理能力。該工具基于 Abacus.AI 的 LLM(Language Model for Long-form Content)架構(gòu)，提供了一系列代碼和工具，用于增加模型對長文本的理解能力。通過預(yù)訓(xùn)練和微調(diào)，該工具可以使模型在處理超過2048個單詞的文本時仍然能夠保持高效和準(zhǔn)確。

　　要點:

　　1、Abacus AI 的研究人員通過多次實驗，發(fā)現(xiàn)將 LLMs 的上下文長度能力擴展到更長的上下文是可行的。

　　2、研究人員使用不同的方法對 RedPajama 數(shù)據(jù)集進(jìn)行了 fine-tune，并發(fā)現(xiàn)線性縮放方法在模型上下文長度上效果良好，而截斷和隨機化方法在檢索任務(wù)上效果較差。

　　3、通過評估模型在不同數(shù)據(jù)集上的表現(xiàn)，研究人員發(fā)現(xiàn)將上下文長度進(jìn)行縮放可以顯著提高模型的性能，進(jìn)而改進(jìn)模型的困惑度，并更好地捕捉文檔的主題。

　　4、Abacus.AI LLM Context Expansion 提供了評估腳本和基準(zhǔn)任務(wù)，用于評估模型在信息檢索方面的能力，并提供了重要的實驗結(jié)果和復(fù)現(xiàn)指南，以幫助用戶進(jìn)一步改進(jìn)和構(gòu)建自己的模型。

　　5、Abacus.AI提供預(yù)訓(xùn)練模型權(quán)重，對于表現(xiàn)最好的模型(線性插值 + 指令微調(diào)，在縮放因子為4和16時)，該工具提供了預(yù)訓(xùn)練模型的權(quán)重，方便用戶直接使用或進(jìn)行自己的測試。