快手開源KwaiAgents系統(tǒng) 性能超越GPT-3.5

　　近日，快手聯(lián)合哈爾濱工業(yè)大學(xué)成功開源了「KwaiAgents」系統(tǒng)，實(shí)現(xiàn)了7B/13B模型的超越效果。這一成果的背后，是通過Meta-Agent Tuning(MAT)方法提升大模型的通用能力。整個(gè)項(xiàng)目包含了系統(tǒng)、模型、以及評(píng)測(cè)三個(gè)方面的內(nèi)容，并通過GitHub完全開源，為研究者和開發(fā)者提供了極大的便利。

　　該系統(tǒng)以大模型為認(rèn)知內(nèi)核，配以記憶機(jī)制和工具庫，形成迭代式自動(dòng)化系統(tǒng)。記憶機(jī)制包含知識(shí)庫、對(duì)話和任務(wù)歷史三類記憶，通過混合向量檢索和關(guān)鍵詞檢索技術(shù)，在每一輪對(duì)話中檢索所需信息。工具集包含事實(shí)性增強(qiáng)工具，異構(gòu)的搜索和瀏覽機(jī)制能夠匯集多個(gè)來源的知識(shí)，包括網(wǎng)頁、文本百科和視頻百科。自動(dòng)化Loop中，系統(tǒng)在一輪對(duì)話中接收問題，進(jìn)行記憶的更新和檢索，調(diào)用大模型進(jìn)行任務(wù)規(guī)劃，根據(jù)需要調(diào)用工具，最后綜合歷史信息給出回答。

　　為避免訓(xùn)練中單一模板引起的過擬合問題，團(tuán)隊(duì)提出了MAT方法。該方法分為兩階段:模板生成階段和指令微調(diào)階段。在模板生成階段，通過設(shè)計(jì)Meta-Agent，生成實(shí)例化的Agent Prompt模板，候選結(jié)果與開源模板進(jìn)行對(duì)比打分，從而篩選出高質(zhì)量的Agent Prompt模板庫。在指令微調(diào)階段，基于上萬的模板構(gòu)建了超過20萬的Agent調(diào)優(yōu)指令微調(diào)數(shù)據(jù)。通過這一方法，模型在任務(wù)規(guī)劃、工具使用、反思等方面的能力得到提升，同時(shí)避免了過度依賴單一模板的問題。

　　KAgentBench通過人工精細(xì)化標(biāo)注的數(shù)據(jù)，提供開箱即用的Agent能力自動(dòng)化評(píng)測(cè)Benchmark。該Benchmark涵蓋不同種類的能力構(gòu)造輸入，每個(gè)query配備多個(gè)模板和多個(gè)人工編輯的真實(shí)回答，綜合評(píng)測(cè)準(zhǔn)確性和泛化性。評(píng)測(cè)結(jié)果顯示，通過MAT調(diào)優(yōu)后，7B-13B模型在各項(xiàng)能力上均有顯著提升，超越了GPT-3.5的效果。

　　團(tuán)隊(duì)表示，AI Agents是一條具有潛力的道路，未來將持之以恒地沉淀核心技術(shù)，并積極探索Agents技術(shù)與快手業(yè)務(wù)的結(jié)合，嘗試更多有趣、有價(jià)值的創(chuàng)新應(yīng)用落地。這一開源項(xiàng)目為整個(gè)社區(qū)注入了新的活力，為研究者提供了豐富的資源和參考。