阿里通義千問發(fā)布Qwen2.5-Turbo開源AI模型：支持100萬tokens上下文，處理時間縮短至68秒

　　阿里通義千問昨日(11 月 18 日)發(fā)布博文，宣布在經(jīng)過數(shù)月的優(yōu)化和打磨后，針對社區(qū)中對更長上下文長度(Context Length)的要求，推出了 Qwen2.5-Turbo 開源 AI 模型。

　　Qwen2.5-Turbo 將上下文長度從 12.8 萬個擴展至 100 萬個 tokens，這一改進相當于約 100 萬英語單詞或 150 萬漢字，可以容納 10 部完整小說、150 小時的演講稿或 30000 行代碼。

　　上下文長度(Context Length)是指在自然語言處理(NLP)中的大型語言模型(LLM)在一次處理過程中能夠考慮和生成的文本的最大長度。

　　該模型在 1M-token 的 Passkey 檢索任務中實現(xiàn)了 100% 準確率，RULER 長文本評估得分為 93.1，超越了 GPT-4 和 GLM4-9B-1M。

　　團隊通過整合稀疏注意力機制(sparse attention mechanisms)，將處理 100 萬 tokens 到輸出第一個 tokens 的時間，從 4.9 分鐘縮短至 68 秒，速度提升達 4.3 倍，這一進步顯著提高了模型的響應效率，使其在處理長文本時更加迅速。

　　Qwen2.5-Turbo 的處理成本保持在每百萬個 tokens 0.3 元，能夠處理 3.6 倍于 GPT-4o-mini 的 token 數(shù)量。這讓 Qwen2.5-Turbo 在經(jīng)濟性上具備了更強的競爭力，成為高效、經(jīng)濟的長上下文處理解決方案。

　　盡管 Qwen2.5-Turbo 在多個基準測試中表現(xiàn)優(yōu)異，團隊仍然意識到在真實場景中的長序列任務表現(xiàn)可能不夠穩(wěn)定，且大型模型的推理成本需要進一步優(yōu)化。

　　團隊承諾將繼續(xù)優(yōu)化人類偏好、提高推理效率，并探索更強大的長上下文模型。