本文來自于微信公眾號 機(jī)器之心(ID:almosthuman2014),作者:機(jī)器之心。
現(xiàn)在大模型都學(xué)會借力了。
琳瑯滿目的樂高積木,通過一塊又一塊的疊加,可以創(chuàng)造出各種栩栩如生的人物、景觀等,不同的樂高作品相互組合,又能為愛好者帶來新的創(chuàng)意。
我們把思路打開一點,在大模型(LLM)爆發(fā)的當(dāng)下,我們能不能像拼積木一樣,把不同的模型搭建起來,而不會影響原來模型的功能,還能起到1+1>2的效果。
這樣的想法,谷歌已經(jīng)實現(xiàn)了。他們的研究為未來的語言模型發(fā)展提供了一個新的方向,特別是在資源節(jié)約和模型適應(yīng)性方面。
如今的大語言模型(LLM)仿佛一個全能戰(zhàn)士,能進(jìn)行常識和事實推理、懂得世界知識、生成連貫的文本…… 在這些基礎(chǔ)功能的底座上,研究者們又進(jìn)行了一系列努力對這些模型進(jìn)行微調(diào),以實現(xiàn)特定于領(lǐng)域的功能,如代碼生成、文案編輯以及解決數(shù)學(xué)問題等。
但這些特定于領(lǐng)域的模型開始出現(xiàn)一些棘手的問題,例如,有些模型在標(biāo)準(zhǔn)代碼生成方面做得很好,但在一般邏輯推理方面并不精通,反之亦然。
我們不禁要問:是否可以將 anchor 模型(即具有基礎(chǔ)功能的模型)與特定于領(lǐng)域的增強(qiáng)模型組合在一起,從而開啟模型新功能?例如,我們能否將理解代碼的增強(qiáng)模型與 anchor 模型的語言生成能力組合起來,以實現(xiàn)從代碼 - 文本的生成能力?
在此之前,該問題典型的解決方案是在最初用于訓(xùn)練增強(qiáng)模型的數(shù)據(jù)上進(jìn)行進(jìn)一步的預(yù)訓(xùn)練或微調(diào) anchor 模型。然而,很多時候這樣的解決方案是不可行的,因為訓(xùn)練大模型的計算成本很高。此外,由于數(shù)據(jù)隱私等問題,處理來自多個來源的數(shù)據(jù)可能不可行。
為了解決上述訓(xùn)練成本和數(shù)據(jù)帶來的挑戰(zhàn),谷歌提出并研究了進(jìn)行模型組合的實際設(shè)置,這些設(shè)置包括:(i)研究者可以訪問一個或多個增強(qiáng)模型和 anchor 模型,(ii)不允許修改任一模型的權(quán)重,并且(iii)只能訪問少量數(shù)據(jù),這些數(shù)據(jù)代表了給定模型的組合技能。
該研究是這樣實現(xiàn)的,他們提出了一種新穎的 CALM(組合到增強(qiáng)語言模型 Composition to Augment Language Models)框架來解決模型組合設(shè)置。CALM 不是增強(qiáng)和 anchor LM 的淺層組合,而是在增強(qiáng)和 anchor 模型的中間層表示上引入了少量的可訓(xùn)練參數(shù)。
這種方法不僅資源高效,只需增加少量額外的參數(shù)和數(shù)據(jù),就能擴(kuò)展到新任務(wù)上,比完全重新訓(xùn)練模型要經(jīng)濟(jì)得多。而且比單獨使用一個模型能夠更準(zhǔn)確地執(zhí)行新的挑戰(zhàn)性任務(wù),同時還能保留各個模型的功能。CALM 對特定任務(wù)和低資源語言也提供了更好的支持。
這種通過組合方式擴(kuò)展模型功能的創(chuàng)新得到了很多人的好評:
「這項研究以及類似的 MoE 研究真的很令人驚訝。像堆樂高積木一樣把模型拼在一起就行了!」
還有人表示:「我們離 AI 奇點又近了一步!」
方法介紹
對于給定的 anchor 模型 m_B 和增強(qiáng)模型 m_A,CALM 旨在將這兩種模型結(jié)合起來,組成 m_(A⊕B),使得新模型的能力成為兩個獨立模型能力的組合。
研究過程中,開發(fā)人員做了以下假設(shè):i)他們可以訪問模型的權(quán)重,向前、向后傳播,并有權(quán)限訪問 m_B 和 m_A 的中間表示,ii)不允許更改兩個模型的權(quán)重,iii)研究者無法訪問兩個基本模型的訓(xùn)練數(shù)據(jù)、超參數(shù)、訓(xùn)練狀態(tài),iv)研究者能提供來自目標(biāo)組合域的一些示例。
在上述假設(shè)下,該研究的目標(biāo)是學(xué)習(xí)組合
以實現(xiàn)某些聯(lián)合任務(wù) C。其中 m_B 和 m_A 的權(quán)重被凍結(jié),θ_C 是為學(xué)習(xí)組合而引入的附加可訓(xùn)練參數(shù)集,D_C 是指用于學(xué)習(xí)該組合的示例集。
可訓(xùn)練參數(shù)
該研究在 m_B 和 m_A 的選定層上進(jìn)行操作。具體而言,他們在這些層上學(xué)習(xí)兩組附加參數(shù):(i)一組是簡單的線性變換,f_proj(.),它將來自 m_A 的第 i 層表示映射到來自 m_B 的表示的維度,以及(ii)一組交叉 - 注意力層,f_cross (.,.),該層位于線性變換后的層表示和 m_B 的第 j 層表示之間。
如圖1所示,圖中展示了具有不同功能的 m_A(黃色塊):鍵值映射(左)、低資源語言(中)和代碼(右)。模型 m_A 和 m_B 在合成過程中保持不變 。那些額外的參數(shù)是通過模型的層表示來學(xué)習(xí)的。最左邊的圖顯示了在一組字符串 - 整數(shù)映射上訓(xùn)練的 m_A,例如 {x_1:10……,x_n:2}。m_B 是一個具有算術(shù)能力的大型 LM。CALM 組合這兩個凍結(jié)模型來解決任一模型無法自行解決的鍵算術(shù)(arithmetic on keys)任務(wù)。值得注意的是,盡管使用僅涵蓋20% 鍵的算術(shù)示例進(jìn)行訓(xùn)練,但 CALM 仍可擴(kuò)展到整個鍵 - 值集。
訓(xùn)練示例的構(gòu)建
由于目標(biāo)模型 m_(A⊕B)涉及兩個模型 m_A 和 m_B 的組合,因此該研究還構(gòu)建了一組訓(xùn)練示例 D_C 來描述模型的組合技能。
理想情況下,如果組合任務(wù)中包含任務(wù) t_1和 t_2,例如組合任務(wù) (C) 是對一組鍵執(zhí)行算術(shù)運算。增強(qiáng)模型 m_A 用來學(xué)習(xí)給定的鍵值對(標(biāo)記為任務(wù) t_1), anchor 模型 m_B 是可以很好地執(zhí)行數(shù)字運算的通用模型(標(biāo)記為任務(wù) t_2)。
為了學(xué)習(xí)組合參數(shù) θ_C,該研究定義 D_C 包含兩個模型的組合技能。與 LoRA 等在訓(xùn)練期間需要整個知識源(此處為鍵值)的微調(diào)方法相比,本文發(fā)現(xiàn)僅對一小部分鍵進(jìn)行訓(xùn)練組合就可以泛化到全部。
實驗結(jié)果
鍵值算術(shù)
論文作者首先研究了這樣一種情況:有一個小型的增強(qiáng) LM(m_A),它已被訓(xùn)練成能夠記憶從字符串到整數(shù)的鍵值(KV)映射;還有一個大型的 anchor LM(m_B),它能夠?qū)φ麛?shù)進(jìn)行算術(shù)運算。作者希望使用 CALM 將它們組合在一起,從而實現(xiàn)解決包含這些鍵的算術(shù)表達(dá)式的新功能。
表1顯示了 m_A、m_B 和 m_(A⊕B) 這三個模型在一些數(shù)據(jù)集中的表現(xiàn)。首先,可以看到增強(qiáng)模型 m_A 在 KV 替換(KV-Substitution)任務(wù)中取得了98.1% 的成績,這表明它能很好地記憶 D_KV。接下來,可以看到它在數(shù)字算術(shù)(Numeric-Arithmetic)任務(wù)中的表現(xiàn)很差(4.2%),這表明它不具備算術(shù)能力。因此,該模型無法求解包含 D_KV 的鍵的算術(shù)表達(dá)式。
不出所料,anchor 模型 m_B 在 KV 替換和 KV 算術(shù)(KV-Arithmetic)任務(wù)中的準(zhǔn)確率為0%,因為它沒有看到任何來自 D_KV 的數(shù)據(jù)。然而,它在數(shù)字算術(shù)任務(wù)中的表現(xiàn)卻很好(73.7%),這表明它有能力對數(shù)字進(jìn)行算術(shù)運算。
最后,可以看到組合模型 m_(A⊕B) 能夠以很高的準(zhǔn)確率解決所有任務(wù),尤其是 KV 算術(shù)任務(wù)(84.3%),而這是兩個底層模型都無法解決的。這表明組合模型能夠利用增強(qiáng)模型和 anchor 模型的相關(guān)能力來解決復(fù)雜任務(wù)。
接下來,作者研究了能否將這樣一個大型 anchor LM m_B 與經(jīng)過低資源語言預(yù)訓(xùn)練的小型增強(qiáng) LM m_A 結(jié)合在一起,以執(zhí)行以這些低資源語言呈現(xiàn)的翻譯和數(shù)學(xué)詞語解題任務(wù)。
表2顯示了模型在 FLORES-200數(shù)據(jù)集上的表現(xiàn)。對于表中所示的10種低資源語言,可以看到基礎(chǔ)模型 m_A 和 m_B 的表現(xiàn)都不如組合模型 m_(A⊕B)。作者發(fā)現(xiàn),在全部192種語言中的175種語言上,組合模型 m (A⊕B) 的表現(xiàn)都優(yōu)于 m_B(見圖2)。
表3顯示了這些模型在 GSM8K 任務(wù)中低資源語言和高資源語言的小學(xué)數(shù)學(xué)單詞問題上的表現(xiàn)。首先,可以觀察到,由于數(shù)學(xué)推理能力有限,增強(qiáng)模型 m_A 在這項任務(wù)中表現(xiàn)不佳。另一方面,鑒于 anchor 模型 m_B 數(shù)學(xué)推理能力和高資源語言的遷移學(xué)習(xí)能力,它的表現(xiàn)要好得多。最后,作者發(fā)現(xiàn)在25種低資源語言中的18種和10種高資源語言中的9種上,m (A⊕B) 的表現(xiàn)都優(yōu)于 m_A 和 m_B,這證明了模型組合的有效性。請參見表6以了解完整的評估結(jié)果。請注意,表3的最后一行顯示,在 D_NTL 上微調(diào)后的 m_B 比預(yù)訓(xùn)練的 m_B 性能更差,這表明存在遺忘。使用 CALM 將特定領(lǐng)域的模型 m_A 與 m_B 組合在一起可以避免這種情況。
代碼理解和生成
代碼理解和生成需要兩類不同的能力:(a)代碼語法和語義知識;(b)代碼所操縱的世界的知識。雖然 LLM 擁有豐富的世界知識,但由于其預(yù)訓(xùn)練語料庫中的代碼數(shù)據(jù)表示有偏差,它們往往缺乏代碼語法方面的具體知識。相反,專門用代碼數(shù)據(jù)訓(xùn)練的小模型可以很好地理解代碼語法,但它們可能缺乏廣泛的世界知識和推理能力。CALM 可以實現(xiàn)這兩方面的最佳效果。
表4展示了單個模型 m_A 和 m_B、組合模型 m (A⊕B) 以及經(jīng)過微調(diào)的 anchor 基線
的性能比較。首先,在 HumanEval 數(shù)據(jù)集上進(jìn)行的評估表明,由于 m_A 在 D_Code 上進(jìn)行了額外的訓(xùn)練,它對代碼語法的理解能力更強(qiáng)。而由于 m_B 的規(guī)模更大,而且進(jìn)行了通用預(yù)訓(xùn)練,它在一般語言理解方面表現(xiàn)出色,因此在 T2C 和 C2T 任務(wù)中表現(xiàn)更好。
當(dāng)使用 CALM 來組成這兩個模型時,作者通過顯著的性能改進(jìn)觀察到了能力的清晰遷移和組合:與 m_B 相比,組合模型在 CC 和 T2C 任務(wù)上的絕對性能分別提高了6.1% 和3.6%。作者觀察到,由于災(zāi)難性遺忘,在 D_Code 上微調(diào) m_B 會導(dǎo)致 C2T 性能顯著下降。在所有語言中,CALM 保持了性能,并略微優(yōu)于 m_B。作者還研究了 C2T 任務(wù)的定性示例,并觀察到了有趣的共同模式,詳情見附錄 B。
消融研究
m_A 的影響
作者首先研究了 m_A 的影響,即在組成過程中用 vanilla 和隨機(jī)變體替換 m_A。表5顯示了在 NTL 和代碼任務(wù)中,當(dāng)專門的 m_A 被 vanilla PaLM2-XXS 檢查點或未經(jīng)訓(xùn)練的模型版本(即隨機(jī)模型)替換時,性能的變化情況。作者發(fā)現(xiàn),在所有任務(wù)中,這些變體的性能都大幅下降。在 FLORES-200XX-En 任務(wù)中,使用 vanilla 和隨機(jī)模型時,語言的組合性能分別下降到115和43。與 m_B 相比,vanilla 模型的性能略有提高,這表明非專門化模型(與 m_B 的訓(xùn)練機(jī)制不同)可能具有正交能力,從而增強(qiáng)了模型的性能。這一發(fā)現(xiàn)驗證了 CALM 的性能提升是利用 m_A 而不是增加 Θ_C 參數(shù)的結(jié)果。
迭代解碼的影響
作者還研究了一個變體,即將 m_A 用作編碼器,也就是說,在給定時間步解碼的輸出 token 不會添加到 m_A 的輸入中。在這種情況下,只使用 m_A 的前綴表示。這種設(shè)置與過去針對圖像和文本模型的工作不太一樣,后者將編碼器和解碼器模型組合使用。作者觀察到,在采用之前的設(shè)置時,各種任務(wù)的性能都有明顯下降。
與 LoRA 的比較
最后,作者通過訓(xùn)練 LoRA 層來評估一種參數(shù)高效微調(diào)方法,以適應(yīng) m_B。在所有實驗中,他們都設(shè)置了 LoRA rank,使添加的參數(shù)數(shù)量等于 CALM 引入的參數(shù)數(shù)量。作者還在與 CALM 相同的數(shù)據(jù)(即 D_C)上訓(xùn)練 LoRA。他們發(fā)現(xiàn)這兩種方法在所有任務(wù)和指標(biāo)上的性能差異都很大。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。