快手開源KwaiAgents系統(tǒng) 性能超越GPT-3.5

　　近日，快手聯(lián)合哈爾濱工業(yè)大學(xué)成功開源了「KwaiAgents」系統(tǒng)，實現(xiàn)了7B/13B模型的超越效果。這一成果的背后，是通過Meta-Agent Tuning(MAT)方法提升大模型的通用能力。整個項目包含了系統(tǒng)、模型、以及評測三個方面的內(nèi)容，并通過GitHub完全開源，為研究者和開發(fā)者提供了極大的便利。

　　該系統(tǒng)以大模型為認(rèn)知內(nèi)核，配以記憶機制和工具庫，形成迭代式自動化系統(tǒng)。記憶機制包含知識庫、對話和任務(wù)歷史三類記憶，通過混合向量檢索和關(guān)鍵詞檢索技術(shù)，在每一輪對話中檢索所需信息。工具集包含事實性增強工具，異構(gòu)的搜索和瀏覽機制能夠匯集多個來源的知識，包括網(wǎng)頁、文本百科和視頻百科。自動化Loop中，系統(tǒng)在一輪對話中接收問題，進(jìn)行記憶的更新和檢索，調(diào)用大模型進(jìn)行任務(wù)規(guī)劃，根據(jù)需要調(diào)用工具，最后綜合歷史信息給出回答。

　　為避免訓(xùn)練中單一模板引起的過擬合問題，團隊提出了MAT方法。該方法分為兩階段:模板生成階段和指令微調(diào)階段。在模板生成階段，通過設(shè)計Meta-Agent，生成實例化的Agent Prompt模板，候選結(jié)果與開源模板進(jìn)行對比打分，從而篩選出高質(zhì)量的Agent Prompt模板庫。在指令微調(diào)階段，基于上萬的模板構(gòu)建了超過20萬的Agent調(diào)優(yōu)指令微調(diào)數(shù)據(jù)。通過這一方法，模型在任務(wù)規(guī)劃、工具使用、反思等方面的能力得到提升，同時避免了過度依賴單一模板的問題。

　　KAgentBench通過人工精細(xì)化標(biāo)注的數(shù)據(jù)，提供開箱即用的Agent能力自動化評測Benchmark。該Benchmark涵蓋不同種類的能力構(gòu)造輸入，每個query配備多個模板和多個人工編輯的真實回答，綜合評測準(zhǔn)確性和泛化性。評測結(jié)果顯示，通過MAT調(diào)優(yōu)后，7B-13B模型在各項能力上均有顯著提升，超越了GPT-3.5的效果。

　　團隊表示，AI Agents是一條具有潛力的道路，未來將持之以恒地沉淀核心技術(shù)，并積極探索Agents技術(shù)與快手業(yè)務(wù)的結(jié)合，嘗試更多有趣、有價值的創(chuàng)新應(yīng)用落地。這一開源項目為整個社區(qū)注入了新的活力，為研究者提供了豐富的資源和參考。