OPPO A5 Pro首創(chuàng)獵手天線架構(gòu):信號(hào)能穿十堵墻一加 Ace 5 Pro首發(fā)電競(jìng)Wi-Fi芯片G1 帶來(lái)「穿墻王」和「搶網(wǎng)王」般的網(wǎng)絡(luò)體驗(yàn)電視市場(chǎng)又出黑馬!TCL同檔Mini LED音畫(huà)王P12K,萬(wàn)象分區(qū)打造超強(qiáng)控光!零下25℃如何取暖?海爾水暖通溫暖驛站亮相冰雪大世界馬太效應(yīng),強(qiáng)者恒強(qiáng)?——《中國(guó)企業(yè)科創(chuàng)力研究報(bào)告(2024)》美團(tuán)年度報(bào)告竟然用上了AI和短劇?這下是真出圈了消息稱上汽大眾正開(kāi)發(fā)三款新車(chē),技術(shù)分別來(lái)自小鵬、智己和榮威鴻蒙智行泊車(chē)代駕VPD正式開(kāi)啟全量推送!升級(jí)自動(dòng)泊車(chē)/接駕等多項(xiàng)功能華為官方翻新手機(jī)最高降價(jià)4000元曝蘋(píng)果研發(fā)帶Face ID的智能家居門(mén)鈴:內(nèi)置自研W-Fi芯片李斌回應(yīng)螢火蟲(chóng)外觀設(shè)計(jì):看過(guò)實(shí)車(chē)的人都喜歡這個(gè)設(shè)計(jì)林杰:未來(lái) A 級(jí)、A0 級(jí)、A00 級(jí)車(chē)型都將是領(lǐng)克純電的“主場(chǎng)”豐巢存包柜亮相南寧地鐵站,助力城市韌性建設(shè)與智慧出行萬(wàn)象分區(qū)、絢彩XDR、量子點(diǎn)Pro 2025齊出手,TCL引領(lǐng)觀影體驗(yàn)新變革!QQ音樂(lè)年度聽(tīng)歌報(bào)告發(fā)布:誰(shuí)是你最喜歡的歌手?OpenAI正式發(fā)布o(jì)3 - 通往AGI的路上,已經(jīng)沒(méi)有了任何阻礙「送禮物」難撬動(dòng)社交電商,微信小店缺的是供給微軟Phi-4封神,14B小模型數(shù)學(xué)擊敗GPT-4o,合成數(shù)據(jù)占比40%,36頁(yè)技術(shù)報(bào)告出爐2024年結(jié)束,哪里是原創(chuàng)動(dòng)畫(huà)的應(yīng)許之地?深扒一個(gè)正被游戲行業(yè)「搶占」的流量帝國(guó)
  • 首頁(yè) > 云計(jì)算頻道 > 大模型

    用AI評(píng)估AI,上交大新款大模型部分任務(wù)超越GPT-4,模型數(shù)據(jù)都開(kāi)源

    2023年11月14日 15:44:52   來(lái)源:微信公眾號(hào) 量子位

      本文來(lái)自于微信公眾號(hào) 量子位 (ID:QbitAI),作者:Pengfei Liu。

      評(píng)估大模型對(duì)齊表現(xiàn)最高效的方式是?

      在生成式AI趨勢(shì)里,讓大模型回答和人類(lèi)價(jià)值(意圖)一致非常重要,也就是業(yè)內(nèi)常說(shuō)的對(duì)齊(Alignment)。

      “讓大模型自己上。”

      這是上海交通大學(xué)生成式人工智能研究組(GAIR)提出的最新思路。

      但是目前的評(píng)估方法還存在透明度不夠、準(zhǔn)確性不佳等問(wèn)題。

      所以研究人員開(kāi)源了一個(gè)130億參數(shù)規(guī)模的大模型Auto-J,能對(duì)評(píng)估當(dāng)下大模型的對(duì)齊效果。

      它可同時(shí)分析兩個(gè)大模型的回答,分別做出評(píng)價(jià)并進(jìn)行對(duì)比。

      也能評(píng)估單個(gè)回復(fù)。并且在這一任務(wù)上的表現(xiàn)超越了GPT-4。

      目前,該項(xiàng)目開(kāi)源了大量資源,包括:

      Auto-J的130億參數(shù)模型(使用方法、訓(xùn)練和測(cè)試數(shù)據(jù)也已經(jīng)在GitHub上給出);

      所涉及問(wèn)詢場(chǎng)景的定義文件;

      每個(gè)場(chǎng)景手工構(gòu)建的參考評(píng)估準(zhǔn)則;

      能夠自動(dòng)識(shí)別用戶問(wèn)詢所屬場(chǎng)景的分類(lèi)器等。

      用大模型指導(dǎo)大模型回答

      在實(shí)際任務(wù)中,Auto-J不僅可以在兩個(gè)不同模型的回復(fù)中,指明更優(yōu)秀的回答,而且會(huì)從多個(gè)具體維度給出判斷和分析。

      同時(shí)對(duì)于它認(rèn)為不夠好的回復(fù),能提出改進(jìn)建議。

      注:本節(jié)提供的示例已由原始英文文本翻譯為中文

      具體來(lái)看Auto-J在成對(duì)回復(fù)比較和單回復(fù)評(píng)估任務(wù)的效果。

      成對(duì)回復(fù)比較部分給出的問(wèn)題是:

      起草一份給我家人的郵件,告訴他們我已經(jīng)買(mǎi)好了感恩節(jié)的機(jī)票。我會(huì)在11月22日出發(fā),30日離開(kāi)。

      實(shí)驗(yàn)對(duì)比了GPT4ALL-13B-snoozy和Claude-1的回復(fù)。

      Auto-J給出的判斷是Claude-1的回復(fù)更好,原因是信息更豐富、吸引人、個(gè)性化。

      同時(shí)它也給出了具體的分析過(guò)程,從目的、語(yǔ)氣、正文內(nèi)容、個(gè)性化、信息豐富度幾個(gè)方面評(píng)估,并講明了各個(gè)方面兩個(gè)大模型的優(yōu)劣。

      單回復(fù)評(píng)估任務(wù)的提問(wèn)是:

      在烤架上烤三文魚(yú)最好的方法是什么?

      待評(píng)估的回復(fù)是:

      在烤架上烹制三文魚(yú)的最好辦法是首先將烤架預(yù)熱至中高溫,刷上橄欖油,撒上鹽和胡椒,然后把三文魚(yú)皮朝下放在烤架上。讓三文魚(yú)烤5-7分鐘,直到皮酥脆,用叉子輕松刺入魚(yú)肉。翻轉(zhuǎn)三文魚(yú),再烤3-4分鐘,配上你喜歡的配菜,享受美味。

      對(duì)于這段回答,Auto-J給出的評(píng)價(jià)是“答得害行但是在幾個(gè)方面缺乏深度和詳細(xì)信息”。

      比如沒(méi)有提到具體的烹飪溫度或時(shí)間,沒(méi)有提到三文魚(yú)的品質(zhì)。

      而且還給出了具體建議能讓回復(fù)更加有個(gè)性化:通過(guò)詢問(wèn)用戶有關(guān)具體烤肉設(shè)備或烹飪?nèi)聂~(yú)的經(jīng)驗(yàn)。

      支持50+場(chǎng)景

      在性能表現(xiàn)上,Auto-J在以下兩方面都表現(xiàn)不錯(cuò)。

      功能使用方面

      支持50+種不同的真實(shí)場(chǎng)景的用戶問(wèn)詢(query)(如常見(jiàn)的廣告創(chuàng)作,起草郵件,作文潤(rùn)色,代碼生成等)能夠評(píng)估各類(lèi)大模型在廣泛場(chǎng)景下的對(duì)齊表現(xiàn);

      它能夠無(wú)縫切換兩種最常見(jiàn)的評(píng)估范式——成對(duì)回復(fù)比較和單回復(fù)評(píng)估;并且可以“一器多用”,既可以做對(duì)齊評(píng)估也可以做“獎(jiǎng)勵(lì)函數(shù)”(Reward Model)對(duì)模型性能進(jìn)一步優(yōu)化;

      同時(shí),它也能夠輸出詳細(xì),結(jié)構(gòu)化且易讀的自然語(yǔ)言評(píng)論來(lái)支持其評(píng)估結(jié)果,使其更具可解釋性與可靠性,并且便于開(kāi)發(fā)者參與評(píng)估過(guò)程,迅速發(fā)現(xiàn)價(jià)值對(duì)齊過(guò)程中存在的問(wèn)題

      性能開(kāi)銷(xiāo)方面

      在性能和效率上,Auto-J 的評(píng)估效果僅次于GPT-4而顯著優(yōu)于包括ChatGPT在內(nèi)的眾多開(kāi)源或閉源模型,并且在高效的vllm推理框架下能每分鐘評(píng)估超過(guò)100個(gè)樣本。

      在開(kāi)銷(xiāo)上,由于其僅包含130億參數(shù),Auto-J能直接在32G的V100上進(jìn)行推理,而經(jīng)過(guò)量化壓縮更是將能在如3090這樣的消費(fèi)級(jí)顯卡上部署使用,從而極大降低了LLM的評(píng)估成本 (目前主流的解決方法是利用閉源大模型(如GPT-4)進(jìn)行評(píng)估,但這種通過(guò)調(diào)用API的評(píng)估方式則需要消耗大量的時(shí)間和金錢(qián)成本。)

      具體方法

      為了更廣泛的支持不同的評(píng)估場(chǎng)景,Auto-J 定義了58種不同的場(chǎng)景,分屬于8大類(lèi)(摘要,重寫(xiě),代碼,創(chuàng)作,考題,一般交流,功能性寫(xiě)作以及其他NLP任務(wù))。

      對(duì)于每個(gè)場(chǎng)景,研究者手動(dòng)編寫(xiě)了一套用作參考的評(píng)估標(biāo)準(zhǔn)(criteria),覆蓋了這類(lèi)場(chǎng)景下常見(jiàn)的評(píng)估角度,其中每條標(biāo)準(zhǔn)包含了名稱和文本描述。

      評(píng)估標(biāo)準(zhǔn)的構(gòu)建遵循一個(gè)兩層的樹(shù)狀結(jié)構(gòu):先定義了若干組通用基礎(chǔ)標(biāo)準(zhǔn)(如文本與代碼的一般標(biāo)準(zhǔn)),而每個(gè)場(chǎng)景的具體標(biāo)準(zhǔn)則繼承了一個(gè)或多個(gè)基礎(chǔ)標(biāo)準(zhǔn),并額外添加了更多的定制化標(biāo)準(zhǔn)。

      以上圖的“規(guī)劃”(planning)場(chǎng)景為例,針對(duì)這一場(chǎng)景的標(biāo)準(zhǔn)包括了該場(chǎng)景特定的內(nèi)容與格式標(biāo)準(zhǔn),以及繼承而來(lái)的基礎(chǔ)標(biāo)準(zhǔn)。

      收集來(lái)自多種場(chǎng)景的用戶問(wèn)詢和不同模型的回復(fù):

      Auto-J被定位成能夠在定義的多種廣泛場(chǎng)景上均表現(xiàn)良好,因此一個(gè)重要的部分就是收集不同場(chǎng)景下相應(yīng)的數(shù)據(jù)。為此,研究者手動(dòng)標(biāo)注了一定量用戶問(wèn)詢的場(chǎng)景類(lèi)別,并以此訓(xùn)練了一個(gè)分類(lèi)器用以識(shí)別任意問(wèn)詢的所屬場(chǎng)景。

      在該分類(lèi)器的幫助下,成功從包含了大量真實(shí)用戶問(wèn)詢和不同的模型回復(fù)的若干數(shù)據(jù)集中(如Chatbot Arena Conversations數(shù)據(jù)集)通過(guò)降采樣的方式篩選出了類(lèi)別更加均衡的3436個(gè)成對(duì)樣本和960個(gè)單回復(fù)樣本作為訓(xùn)練數(shù)據(jù)的輸入部分,其中成對(duì)樣本包含了一個(gè)問(wèn)詢,兩個(gè)不同的針對(duì)該問(wèn)詢的回復(fù),以及人類(lèi)標(biāo)注的偏好標(biāo)簽(哪個(gè)回復(fù)更好或平局);而單回復(fù)樣本則只包含了一個(gè)問(wèn)詢和一個(gè)回復(fù)。

      收集高質(zhì)量的評(píng)判(judgment):

      除了問(wèn)詢和回復(fù),更重要是收集作為訓(xùn)練數(shù)據(jù)輸出部分的高質(zhì)量評(píng)估文本,即“評(píng)判”(judgment)。

      研究者定義一條完整的評(píng)判包含了中間的推理過(guò)程和最后的評(píng)估結(jié)果。對(duì)于成對(duì)回復(fù)比較而言,其中間推理過(guò)程為識(shí)別并對(duì)比兩條回復(fù)之間的關(guān)鍵不同之處,評(píng)估結(jié)果是選出兩條回復(fù)中更好的一個(gè)(或平局);而對(duì)于單回復(fù)樣本,其中間推理過(guò)程是針對(duì)其不足之處的評(píng)論(critique),評(píng)估結(jié)果則是一個(gè)1-10的總體打分。

      在具體操作上,選擇調(diào)用GPT-4來(lái)生成需要的評(píng)判。

      對(duì)于每個(gè)樣本,都會(huì)將其對(duì)應(yīng)場(chǎng)景的評(píng)估標(biāo)準(zhǔn)傳入GPT-4中作為生成評(píng)判時(shí)的參考;此外,這里還觀察到在部分樣本上場(chǎng)景評(píng)估標(biāo)準(zhǔn)的加入會(huì)限制GPT-4發(fā)現(xiàn)回復(fù)中特殊的不足之處,因此研究者還額外要求其在給定的評(píng)估標(biāo)準(zhǔn)之外盡可能地發(fā)掘其他的關(guān)鍵因素。

      最終,會(huì)將來(lái)自上述兩方面的輸出進(jìn)行融合與重新排版,得到更加全面、具體且易讀的評(píng)判,作為訓(xùn)練數(shù)據(jù)的輸出部分,其中對(duì)于成對(duì)回復(fù)比較數(shù)據(jù),進(jìn)一步根據(jù)已有的人類(lèi)偏好標(biāo)注進(jìn)行了篩選。

      訓(xùn)練:

      研究者將來(lái)自兩種評(píng)估范式的數(shù)據(jù)合并使用以訓(xùn)練模型,這使得Auto-J僅通過(guò)設(shè)置相應(yīng)的提示詞模板即可無(wú)縫切換不同的評(píng)估范式。

      另外,還采用了一種類(lèi)似于上下文蒸餾的(context distillation)技術(shù),在構(gòu)建訓(xùn)練序列時(shí)刪去了GPT-4用以參考的場(chǎng)景評(píng)估標(biāo)準(zhǔn),僅保留了輸出端的監(jiān)督信號(hào)。

      在實(shí)踐中發(fā)現(xiàn)這能夠有效增強(qiáng)Auto-J的泛化性,避免其輸出的評(píng)判僅限制在對(duì)評(píng)估標(biāo)準(zhǔn)的同義重復(fù)上而忽略回復(fù)中具體的細(xì)節(jié)。

      同時(shí),對(duì)于成對(duì)回復(fù)比較數(shù)據(jù)部分,還采用了一個(gè)簡(jiǎn)單的數(shù)據(jù)增強(qiáng)方式,即交換兩個(gè)回復(fù)在輸入中出現(xiàn)的順序,并對(duì)輸出的評(píng)判文本進(jìn)行相應(yīng)的重寫(xiě),以盡可能消除模型在評(píng)估時(shí)的位置偏好。

      實(shí)驗(yàn)和結(jié)果

      針對(duì)Auto-J所支持的多個(gè)功能,分別構(gòu)建了不同的測(cè)試基準(zhǔn)以驗(yàn)證其有效性:

      在成對(duì)回復(fù)比較任務(wù)上,評(píng)估指標(biāo)為與人類(lèi)偏好標(biāo)簽的一致性,以及在交換輸入中兩個(gè)回復(fù)的順序前后模型預(yù)測(cè)結(jié)果的一致性。

      可以看到Auto-J在兩個(gè)指標(biāo)上均顯著超過(guò)了選取的基線模型,僅次于GPT-4。

      在單回復(fù)評(píng)論生成任務(wù)上,將Auto-J生成的評(píng)論與其他模型的評(píng)論進(jìn)行了一對(duì)一比較,可以看到不管是基于GPT-4的自動(dòng)比較還是人類(lèi)給出的判決,Auto-J所生成的評(píng)論都顯著優(yōu)于大部分基線,且略微優(yōu)于GPT-4。

      研究者還探索了Auto-J作為獎(jiǎng)勵(lì)模型(Reward Model)的潛力。

      在常用的檢測(cè)獎(jiǎng)勵(lì)模型有效性的Best-of-N設(shè)定下(即基座模型生成多個(gè)候選答案,獎(jiǎng)勵(lì)模型根據(jù)自身輸出選擇最佳回復(fù)),Auto-J給出的單回復(fù)打分比各類(lèi)基線模型能選出更好的回復(fù)(以GPT-4評(píng)分為參考)。

      同時(shí),其打分也顯示了與GPT-4打分更高的相關(guān)性。

      最后,開(kāi)發(fā)者也探究了Auto-J在系統(tǒng)級(jí)別的評(píng)估表現(xiàn)。

      對(duì)AlpacaEval(一個(gè)流行的基于GPT-4評(píng)估的大模型排行榜)上提交的開(kāi)源模型使用Auto-J的單樣本打分進(jìn)行了重新排序。

      可以看到,基于Auto-J的排序結(jié)果與GPT-4的排序結(jié)果有極高的相關(guān)性。

      作者總結(jié)和展望

      總結(jié)來(lái)說(shuō),GAIR研究組開(kāi)發(fā)了一個(gè)具有130億參數(shù)的生成式評(píng)價(jià)模型 Auto-J,用于評(píng)估各類(lèi)模型在解決不同場(chǎng)景用戶問(wèn)詢下的表現(xiàn),并旨在解決在普適性、靈活性和可解釋性方面的挑戰(zhàn)。

      實(shí)驗(yàn)證明其性能顯著優(yōu)于諸多開(kāi)源與閉源模型。

      此外,也公開(kāi)了模型之外的其他資源,如模型的訓(xùn)練和多個(gè)測(cè)試基準(zhǔn)中所使用的數(shù)據(jù),在構(gòu)建數(shù)據(jù)過(guò)程中得到的場(chǎng)景定義文件和參考評(píng)估標(biāo)準(zhǔn),以及用以識(shí)別各類(lèi)用戶問(wèn)詢所屬場(chǎng)景的分類(lèi)器。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    明火炊具市場(chǎng):三季度健康屬性貫穿全類(lèi)目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。

    研究

    中國(guó)信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽(yáng)成功舉辦。