模型A：幸虧有你，我才不得0分，模型B：俺也一樣

　　本文來自于微信公眾號(hào) 機(jī)器之心(ID:almosthuman2014)，作者:機(jī)器之心。

　　現(xiàn)在大模型都學(xué)會(huì)借力了。

　　琳瑯滿目的樂高積木，通過一塊又一塊的疊加，可以創(chuàng)造出各種栩栩如生的人物、景觀等，不同的樂高作品相互組合，又能為愛好者帶來新的創(chuàng)意。

　　我們把思路打開一點(diǎn)，在大模型(LLM)爆發(fā)的當(dāng)下，我們能不能像拼積木一樣，把不同的模型搭建起來，而不會(huì)影響原來模型的功能，還能起到1+1>2的效果。

　　這樣的想法，谷歌已經(jīng)實(shí)現(xiàn)了。他們的研究為未來的語言模型發(fā)展提供了一個(gè)新的方向，特別是在資源節(jié)約和模型適應(yīng)性方面。

　　如今的大語言模型(LLM)仿佛一個(gè)全能戰(zhàn)士，能進(jìn)行常識(shí)和事實(shí)推理、懂得世界知識(shí)、生成連貫的文本…… 在這些基礎(chǔ)功能的底座上，研究者們又進(jìn)行了一系列努力對這些模型進(jìn)行微調(diào)，以實(shí)現(xiàn)特定于領(lǐng)域的功能，如代碼生成、文案編輯以及解決數(shù)學(xué)問題等。

　　但這些特定于領(lǐng)域的模型開始出現(xiàn)一些棘手的問題，例如，有些模型在標(biāo)準(zhǔn)代碼生成方面做得很好，但在一般邏輯推理方面并不精通，反之亦然。

　　我們不禁要問:是否可以將 anchor 模型(即具有基礎(chǔ)功能的模型)與特定于領(lǐng)域的增強(qiáng)模型組合在一起，從而開啟模型新功能?例如，我們能否將理解代碼的增強(qiáng)模型與 anchor 模型的語言生成能力組合起來，以實(shí)現(xiàn)從代碼 - 文本的生成能力?

　　在此之前，該問題典型的解決方案是在最初用于訓(xùn)練增強(qiáng)模型的數(shù)據(jù)上進(jìn)行進(jìn)一步的預(yù)訓(xùn)練或微調(diào) anchor 模型。然而，很多時(shí)候這樣的解決方案是不可行的，因?yàn)橛?xùn)練大模型的計(jì)算成本很高。此外，由于數(shù)據(jù)隱私等問題，處理來自多個(gè)來源的數(shù)據(jù)可能不可行。

　　為了解決上述訓(xùn)練成本和數(shù)據(jù)帶來的挑戰(zhàn)，谷歌提出并研究了進(jìn)行模型組合的實(shí)際設(shè)置，這些設(shè)置包括:(i)研究者可以訪問一個(gè)或多個(gè)增強(qiáng)模型和 anchor 模型，(ii)不允許修改任一模型的權(quán)重，并且(iii)只能訪問少量數(shù)據(jù)，這些數(shù)據(jù)代表了給定模型的組合技能。

　　該研究是這樣實(shí)現(xiàn)的，他們提出了一種新穎的 CALM(組合到增強(qiáng)語言模型 Composition to Augment Language Models)框架來解決模型組合設(shè)置。CALM 不是增強(qiáng)和 anchor LM 的淺層組合，而是在增強(qiáng)和 anchor 模型的中間層表示上引入了少量的可訓(xùn)練參數(shù)。

　　這種方法不僅資源高效，只需增加少量額外的參數(shù)和數(shù)據(jù)，就能擴(kuò)展到新任務(wù)上，比完全重新訓(xùn)練模型要經(jīng)濟(jì)得多。而且比單獨(dú)使用一個(gè)模型能夠更準(zhǔn)確地執(zhí)行新的挑戰(zhàn)性任務(wù)，同時(shí)還能保留各個(gè)模型的功能。CALM 對特定任務(wù)和低資源語言也提供了更好的支持。

　　這種通過組合方式擴(kuò)展模型功能的創(chuàng)新得到了很多人的好評(píng):

　　「這項(xiàng)研究以及類似的 MoE 研究真的很令人驚訝。像堆樂高積木一樣把模型拼在一起就行了!」

　　還有人表示:「我們離 AI 奇點(diǎn)又近了一步!」

　　方法介紹

　　對于給定的 anchor 模型 m_B 和增強(qiáng)模型 m_A，CALM 旨在將這兩種模型結(jié)合起來，組成 m_(A⊕B)，使得新模型的能力成為兩個(gè)獨(dú)立模型能力的組合。

　　研究過程中，開發(fā)人員做了以下假設(shè):i)他們可以訪問模型的權(quán)重，向前、向后傳播，并有權(quán)限訪問 m_B 和 m_A 的中間表示，ii)不允許更改兩個(gè)模型的權(quán)重，iii)研究者無法訪問兩個(gè)基本模型的訓(xùn)練數(shù)據(jù)、超參數(shù)、訓(xùn)練狀態(tài)，iv)研究者能提供來自目標(biāo)組合域的一些示例。

　　在上述假設(shè)下，該研究的目標(biāo)是學(xué)習(xí)組合

　　以實(shí)現(xiàn)某些聯(lián)合任務(wù) C。其中 m_B 和 m_A 的權(quán)重被凍結(jié)，θ_C 是為學(xué)習(xí)組合而引入的附加可訓(xùn)練參數(shù)集，D_C 是指用于學(xué)習(xí)該組合的示例集。

　　可訓(xùn)練參數(shù)

　　該研究在 m_B 和 m_A 的選定層上進(jìn)行操作。具體而言，他們在這些層上學(xué)習(xí)兩組附加參數(shù):(i)一組是簡單的線性變換，f_proj(.)，它將來自 m_A 的第 i 層表示映射到來自 m_B 的表示的維度，以及(ii)一組交叉 - 注意力層，f_cross (.，.)，該層位于線性變換后的層表示和 m_B 的第 j 層表示之間。

　　如圖1所示，圖中展示了具有不同功能的 m_A(黃色塊):鍵值映射(左)、低資源語言(中)和代碼(右)。模型 m_A 和 m_B 在合成過程中保持不變 。那些額外的參數(shù)是通過模型的層表示來學(xué)習(xí)的。最左邊的圖顯示了在一組字符串 - 整數(shù)映射上訓(xùn)練的 m_A，例如 {x_1:10……，x_n:2}。m_B 是一個(gè)具有算術(shù)能力的大型 LM。CALM 組合這兩個(gè)凍結(jié)模型來解決任一模型無法自行解決的鍵算術(shù)(arithmetic on keys)任務(wù)。值得注意的是，盡管使用僅涵蓋20% 鍵的算術(shù)示例進(jìn)行訓(xùn)練，但 CALM 仍可擴(kuò)展到整個(gè)鍵 - 值集。

　　訓(xùn)練示例的構(gòu)建

　　由于目標(biāo)模型 m_(A⊕B)涉及兩個(gè)模型 m_A 和 m_B 的組合，因此該研究還構(gòu)建了一組訓(xùn)練示例 D_C 來描述模型的組合技能。

　　理想情況下，如果組合任務(wù)中包含任務(wù) t_1和 t_2，例如組合任務(wù) (C) 是對一組鍵執(zhí)行算術(shù)運(yùn)算。增強(qiáng)模型 m_A 用來學(xué)習(xí)給定的鍵值對(標(biāo)記為任務(wù) t_1)， anchor 模型 m_B 是可以很好地執(zhí)行數(shù)字運(yùn)算的通用模型(標(biāo)記為任務(wù) t_2)。

　　為了學(xué)習(xí)組合參數(shù) θ_C，該研究定義 D_C 包含兩個(gè)模型的組合技能。與 LoRA 等在訓(xùn)練期間需要整個(gè)知識(shí)源(此處為鍵值)的微調(diào)方法相比，本文發(fā)現(xiàn)僅對一小部分鍵進(jìn)行訓(xùn)練組合就可以泛化到全部。

　　實(shí)驗(yàn)結(jié)果

　　鍵值算術(shù)

　　論文作者首先研究了這樣一種情況:有一個(gè)小型的增強(qiáng) LM(m_A)，它已被訓(xùn)練成能夠記憶從字符串到整數(shù)的鍵值(KV)映射;還有一個(gè)大型的 anchor LM(m_B)，它能夠?qū)φ麛?shù)進(jìn)行算術(shù)運(yùn)算。作者希望使用 CALM 將它們組合在一起，從而實(shí)現(xiàn)解決包含這些鍵的算術(shù)表達(dá)式的新功能。

　　表1顯示了 m_A、m_B 和 m_(A⊕B) 這三個(gè)模型在一些數(shù)據(jù)集中的表現(xiàn)。首先，可以看到增強(qiáng)模型 m_A 在 KV 替換(KV-Substitution)任務(wù)中取得了98.1% 的成績，這表明它能很好地記憶 D_KV。接下來，可以看到它在數(shù)字算術(shù)(Numeric-Arithmetic)任務(wù)中的表現(xiàn)很差(4.2%)，這表明它不具備算術(shù)能力。因此，該模型無法求解包含 D_KV 的鍵的算術(shù)表達(dá)式。

　　不出所料，anchor 模型 m_B 在 KV 替換和 KV 算術(shù)(KV-Arithmetic)任務(wù)中的準(zhǔn)確率為0%，因?yàn)樗鼪]有看到任何來自 D_KV 的數(shù)據(jù)。然而，它在數(shù)字算術(shù)任務(wù)中的表現(xiàn)卻很好(73.7%)，這表明它有能力對數(shù)字進(jìn)行算術(shù)運(yùn)算。

　　最后，可以看到組合模型 m_(A⊕B) 能夠以很高的準(zhǔn)確率解決所有任務(wù)，尤其是 KV 算術(shù)任務(wù)(84.3%)，而這是兩個(gè)底層模型都無法解決的。這表明組合模型能夠利用增強(qiáng)模型和 anchor 模型的相關(guān)能力來解決復(fù)雜任務(wù)。

　　接下來，作者研究了能否將這樣一個(gè)大型 anchor LM m_B 與經(jīng)過低資源語言預(yù)訓(xùn)練的小型增強(qiáng) LM m_A 結(jié)合在一起，以執(zhí)行以這些低資源語言呈現(xiàn)的翻譯和數(shù)學(xué)詞語解題任務(wù)。

　　表2顯示了模型在 FLORES-200數(shù)據(jù)集上的表現(xiàn)。對于表中所示的10種低資源語言，可以看到基礎(chǔ)模型 m_A 和 m_B 的表現(xiàn)都不如組合模型 m_(A⊕B)。作者發(fā)現(xiàn)，在全部192種語言中的175種語言上，組合模型 m (A⊕B) 的表現(xiàn)都優(yōu)于 m_B(見圖2)。

　　表3顯示了這些模型在 GSM8K 任務(wù)中低資源語言和高資源語言的小學(xué)數(shù)學(xué)單詞問題上的表現(xiàn)。首先，可以觀察到，由于數(shù)學(xué)推理能力有限，增強(qiáng)模型 m_A 在這項(xiàng)任務(wù)中表現(xiàn)不佳。另一方面，鑒于 anchor 模型 m_B 數(shù)學(xué)推理能力和高資源語言的遷移學(xué)習(xí)能力，它的表現(xiàn)要好得多。最后，作者發(fā)現(xiàn)在25種低資源語言中的18種和10種高資源語言中的9種上，m (A⊕B) 的表現(xiàn)都優(yōu)于 m_A 和 m_B，這證明了模型組合的有效性。請參見表6以了解完整的評(píng)估結(jié)果。請注意，表3的最后一行顯示，在 D_NTL 上微調(diào)后的 m_B 比預(yù)訓(xùn)練的 m_B 性能更差，這表明存在遺忘。使用 CALM 將特定領(lǐng)域的模型 m_A 與 m_B 組合在一起可以避免這種情況。

　　代碼理解和生成

　　代碼理解和生成需要兩類不同的能力:(a)代碼語法和語義知識(shí);(b)代碼所操縱的世界的知識(shí)。雖然 LLM 擁有豐富的世界知識(shí)，但由于其預(yù)訓(xùn)練語料庫中的代碼數(shù)據(jù)表示有偏差，它們往往缺乏代碼語法方面的具體知識(shí)。相反，專門用代碼數(shù)據(jù)訓(xùn)練的小模型可以很好地理解代碼語法，但它們可能缺乏廣泛的世界知識(shí)和推理能力。CALM 可以實(shí)現(xiàn)這兩方面的最佳效果。

　　表4展示了單個(gè)模型 m_A 和 m_B、組合模型 m (A⊕B) 以及經(jīng)過微調(diào)的 anchor 基線

　　的性能比較。首先，在 HumanEval 數(shù)據(jù)集上進(jìn)行的評(píng)估表明，由于 m_A 在 D_Code 上進(jìn)行了額外的訓(xùn)練，它對代碼語法的理解能力更強(qiáng)。而由于 m_B 的規(guī)模更大，而且進(jìn)行了通用預(yù)訓(xùn)練，它在一般語言理解方面表現(xiàn)出色，因此在 T2C 和 C2T 任務(wù)中表現(xiàn)更好。

　　當(dāng)使用 CALM 來組成這兩個(gè)模型時(shí)，作者通過顯著的性能改進(jìn)觀察到了能力的清晰遷移和組合:與 m_B 相比，組合模型在 CC 和 T2C 任務(wù)上的絕對性能分別提高了6.1% 和3.6%。作者觀察到，由于災(zāi)難性遺忘，在 D_Code 上微調(diào) m_B 會(huì)導(dǎo)致 C2T 性能顯著下降。在所有語言中，CALM 保持了性能，并略微優(yōu)于 m_B。作者還研究了 C2T 任務(wù)的定性示例，并觀察到了有趣的共同模式，詳情見附錄 B。

　　消融研究

　　m_A 的影響

　　作者首先研究了 m_A 的影響，即在組成過程中用 vanilla 和隨機(jī)變體替換 m_A。表5顯示了在 NTL 和代碼任務(wù)中，當(dāng)專門的 m_A 被 vanilla PaLM2-XXS 檢查點(diǎn)或未經(jīng)訓(xùn)練的模型版本(即隨機(jī)模型)替換時(shí)，性能的變化情況。作者發(fā)現(xiàn)，在所有任務(wù)中，這些變體的性能都大幅下降。在 FLORES-200XX-En 任務(wù)中，使用 vanilla 和隨機(jī)模型時(shí)，語言的組合性能分別下降到115和43。與 m_B 相比，vanilla 模型的性能略有提高，這表明非專門化模型(與 m_B 的訓(xùn)練機(jī)制不同)可能具有正交能力，從而增強(qiáng)了模型的性能。這一發(fā)現(xiàn)驗(yàn)證了 CALM 的性能提升是利用 m_A 而不是增加 Θ_C 參數(shù)的結(jié)果。

　　迭代解碼的影響

　　作者還研究了一個(gè)變體，即將 m_A 用作編碼器，也就是說，在給定時(shí)間步解碼的輸出 token 不會(huì)添加到 m_A 的輸入中。在這種情況下，只使用 m_A 的前綴表示。這種設(shè)置與過去針對圖像和文本模型的工作不太一樣，后者將編碼器和解碼器模型組合使用。作者觀察到，在采用之前的設(shè)置時(shí)，各種任務(wù)的性能都有明顯下降。

　　與 LoRA 的比較

　　最后，作者通過訓(xùn)練 LoRA 層來評(píng)估一種參數(shù)高效微調(diào)方法，以適應(yīng) m_B。在所有實(shí)驗(yàn)中，他們都設(shè)置了 LoRA rank，使添加的參數(shù)數(shù)量等于 CALM 引入的參數(shù)數(shù)量。作者還在與 CALM 相同的數(shù)據(jù)(即 D_C)上訓(xùn)練 LoRA。他們發(fā)現(xiàn)這兩種方法在所有任務(wù)和指標(biāo)上的性能差異都很大。