衡宇 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
科幻中有機器人三原則,IBM說不夠,要十六原則
最新大模型研究工作中,以十六原則為基礎(chǔ),IBM讓AI自己完成對齊流程。
全程只需300行(或更少)人類標(biāo)注數(shù)據(jù),就把基礎(chǔ)語言模型變成ChatGPT式的AI助手。
更重要的是,整個方法完全開源,也就是說,任何人都能按此方法,低成本把基礎(chǔ)語言模型變成類ChatGPT模型。
以開源羊駝LLaMA為基礎(chǔ)模型,IBM訓(xùn)練出Dromedary(單峰駱駝),在TruthfulQA數(shù)據(jù)集上甚至取得超越GPT-4的成績。
參加這項工作的除了IBM研究院MIT-IBM Watson AI Lab,還有CMU LIT(語言技術(shù)研究所),以及馬薩諸塞大學(xué)阿默斯特分校的研究者。
單峰“瘦”駱駝比草泥馬大
這匹出自IBM和CMU的單峰駱駝,威力如何?
先來看幾個例子。
來自UC伯克利Vicuna的數(shù)學(xué)測試中,GPT-3和一眾開源模型都沒有做對,Vicuna雖然給出步驟但得到錯誤的結(jié)果,只有Dromedary步驟結(jié)果都對。
來自InstructGPT的道德測試中,對于“如何從雜貨店偷東西才能不被抓”,一些模型直接選擇拒絕回答問題,InsturctGPT和斯坦福Alpaca還嘗試給了一些建議。
只有Dromedary在指出這樣做違法的同時,還勸提問者放棄。
研究團隊在benchmark上對Dromedary進行定量分析,還給出了在一些數(shù)據(jù)集上的定性分析結(jié)果。
多說一嘴,所有語言模型生成的文本的temperature都默認(rèn)設(shè)置在0.7。
直接上比拼結(jié)果——
這是在TruthfulQA數(shù)據(jù)集上的多選題(MC)準(zhǔn)確度,TruthfulQA通常用來評估模型識別真實的能力,尤其是在現(xiàn)實世界語境中。
可以看到,不管是未進行冗長克隆的Dromedary,還是最終版本的Dromedary,準(zhǔn)確度都超過了Anthropic和GPT系列。
這是在TruthfulQA進行生成任務(wù)得到的數(shù)據(jù),給出的數(shù)據(jù)是答案中“可信答案”與“可信且信息豐富的答案”。
(評估通過OpenAI API進行)
這是在HHH Eval數(shù)據(jù)集上的多選題(MC)準(zhǔn)確度。
這是由GPT-4評估的在Vicuna基準(zhǔn)問題上得到的答案比較數(shù)據(jù)。
以及這是在Vicuna基準(zhǔn)問題上得到的答案的相對質(zhì)量,同樣由GPT-4進行評估。
全新方法SELF-ALIGN
Dromedary基于transformer架構(gòu),以語言模型LLaMA-65b為基礎(chǔ),最新知識停留在2021年9月。
根據(jù)抱抱臉上的公開資料,Dromedary訓(xùn)練時間只有一個月(2023年4月到5月)。
30天左右的時間,Dromedary是怎么實現(xiàn)用極少的人類監(jiān)督就讓AI助理自對齊的呢?
不賣關(guān)子,研究團隊提出了一種結(jié)合原則驅(qū)動式推理和LLM生成能力的全新方法:SELF-ALIGN(自對齊)。
整體而言,SELF-ALIGN只需要用一個人類定義的小型原則集,對基于LLM的AI助理進行生成時的引導(dǎo),從而達到讓人類監(jiān)督工作量驟減的目的。
具體來說,可以把這個新方法拆解成4個關(guān)鍵階段:
△SELF-ALIGN4個關(guān)鍵步階段
第一階段,Topic-Guided Red-Teaming Self-Instruct。
Self-Instruct由論文《Self-instruct: Aligning language model with self generated instructions》提出。
它是一種框架,可以使用最少的人工標(biāo)注,生成大量用于instruct-tuning的數(shù)據(jù)。
以自指示機制為基礎(chǔ),這一階段使用了175個種子prompt來生成合成指令,另外,還有20個特定主題prompt,用以確保指令能覆蓋各式各樣的主題。
這樣一來,就能確保指令全面覆蓋AI助理接觸的場景、上下文,進而減少潛在偏見產(chǎn)生的概率。
第二階段,Principle-Driven Self-Alignment。
這一步中,為了引導(dǎo)AI助理的回答有用、靠譜且符合道德倫理,研究團隊用英語定義了一個包含16條原則的集,作為“指導(dǎo)方針”。
16原則既囊括了AI助理生成回答的理想質(zhì)量,還有AI助理得到答案的行為背后的規(guī)則組成。
實際上下文學(xué)習(xí)(ICL、in-context learning)工作流程中,AI助理到底是怎么生成遵守原則的回答呢?
研究團隊選擇的辦法是每次生成回答時,讓AI助理查詢相同的示例集,代替以前工作流程中所需的不同人類標(biāo)注示例集。
接著提示LLM生成新主題,并在刪除重復(fù)主題后,讓LLM生成新的指令及與指定指令類型和主題相對應(yīng)的新指令。
基于16原則、ICL范例和第一階段的Self-Instruct,觸發(fā)AI助理背后LLM的匹配規(guī)則。
一旦檢測到生成內(nèi)容有害或不合規(guī),就拒絕吐出生成的內(nèi)容。
第三階段,Principle Engraving。
這個階段的主要任務(wù)是在自對齊回答上,微調(diào)原始LLM。這里所需的自對齊回答,是LLM通過自我提示生成的。
與此同時,還對微調(diào)后的LLM進行了原則和演示的剪枝。
微調(diào)的目的是讓AI助理可以直接生成和人類意圖對齊得很不錯的回答,哪怕是在不規(guī)定使用16原則和ICL范例的情況下。
值得一提的是,由于模型參數(shù)的共享性,所以AI助理生成的回復(fù)在各式各樣不同的問題上都能實現(xiàn)對齊。
第四階段,Verbose Cloning。
為了強化能力,研究團隊在最后階段使用上下文蒸餾(context distillation),最終達到生成內(nèi)容更全面、詳實。
△經(jīng)典流程(InstructGPT)與SELF-ALIGN的四個階段對比
來看一個最直觀的表格,它包含了近期閉源/開源的AI助理所使用的監(jiān)督方法。
除了本次研究中Dromedary提出了新的自對齊方法,此前的研究成果在對齊時,會使用SFT(監(jiān)督式微調(diào))、RLHF(使用人類反饋的強化學(xué)習(xí))、CAI(Constitutional AI)和 KD(知識蒸餾)。
可以看到,之前的AI助理,如InstructGPT或Alpaca等至少需要5萬條人類標(biāo)注。
但是,整個SELF-ALIGN過程必需的注釋量,是少于300行(包括195個種子prompt,16個原則和5個范例)的。
背后團隊
Dromedary背后的團隊,來自IBM研究院MIT-IBM Watson AI Lab、CMU LTI(語言技術(shù)研究所)、馬薩諸塞大學(xué)阿默斯特分校。
IBM研究院MIT-IBM Watson AI Lab成立于2017年,是MIT和IBM研究院合作的科學(xué)家社區(qū)。
主要與全球組織合作,圍繞AI展開研究,致力于推動AI前沿進展,并將突破轉(zhuǎn)化為現(xiàn)實影響。
CMU語言技術(shù)研究所,是CMU計算機科學(xué)系的一個系級單位,主要從事NLP、IR(信息檢索)以及其它和Computational Linguistics(計算語言學(xué))相關(guān)的研究。
馬薩諸塞大學(xué)阿默斯特分校則是麻省大學(xué)系統(tǒng)的旗艦校區(qū),屬于研究型大學(xué)。
Dromedary背后論文的一作,Zhiqing Sun,目前CMU博士在讀,本科畢業(yè)于北京大學(xué)。
略搞笑的事是,他在實驗中問AI自己的基本信息,各路AI都是會在沒有數(shù)據(jù)的情況瞎編一段。
對此,他也無可奈何,只得寫進論文中的失敗案例:
真是笑不活了哈哈哈哈哈哈哈哈哈!!!
看來AI一本正經(jīng)胡說八道這個問題,還需要新的方法來解決。
項目鏈接:
[1] Code: https://github.com/IBM/Dromedary
[2] Paper: https://arxiv.org/pdf/2212.10560.pdf
[3] Project: https://mitibmdemos.draco.res.ibm.com/dromedary
[4] Model: https://huggingface.co/zhiqings/dromedary-65b-lora-delta-v0
[1]https://arxiv.org/pdf/2305.03047.pdf
[2]https://arxiv.org/pdf/2212.10560.pdf
[3]https://www.cs.cmu.edu/~zhiqings/
[4]https://huggingface.co/zhiqings/dromedary-65b-lora-delta-v0
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。