谷歌AI推出新型評分器Cappy 助力多任務(wù)語言模型性能提升

　　在最新的研究論文中，谷歌研究人員引入了一種名為Cappy的預(yù)訓(xùn)練評分器模型，旨在增強(qiáng)和超越大型多任務(wù)語言模型的性能。這項研究旨在解決大型語言模型(LLM)所面臨的挑戰(zhàn)，其中包括高昂的計算資源成本和效率低下的訓(xùn)練和推理過程。

　　目前，多任務(wù)法學(xué)碩士如T0、FLAN和OPT-IML等被廣泛應(yīng)用于各種自然語言處理任務(wù)，并在統(tǒng)一的指令跟蹤框架下進(jìn)行訓(xùn)練。然而，這些模型由于巨大的規(guī)模和硬件要求，使得它們在適應(yīng)下游應(yīng)用程序時面臨著挑戰(zhàn)。為了應(yīng)對這些挑戰(zhàn)，Cappy被引入作為一種輕量級的預(yù)訓(xùn)練評分器，旨在提高多任務(wù)法學(xué)碩士的性能和效率。

　　Cappy的架構(gòu)基于RoBERTa，頂部有一個用于回歸的線性層，利用多樣化的數(shù)據(jù)集集合進(jìn)行預(yù)訓(xùn)練，確保覆蓋廣泛的任務(wù)類型。研究人員還提出了一種數(shù)據(jù)構(gòu)建方法，以滿足預(yù)訓(xùn)練數(shù)據(jù)中標(biāo)簽多樣性的需求，并生成一個大型有效的回歸預(yù)訓(xùn)練數(shù)據(jù)集。Cappy的應(yīng)用程序涉及一種候選者選擇機(jī)制，可獨立運行于分類任務(wù)，也可作為生成任務(wù)的輔助組件，增強(qiáng)現(xiàn)有多任務(wù)LLM的解碼。

　　通過引入輕量級預(yù)訓(xùn)練評分器Cappy，這項研究解決了在多任務(wù)場景中有效利用大型語言模型的挑戰(zhàn)，展示了其在各種任務(wù)上的參數(shù)效率和性能的優(yōu)越性，同時強(qiáng)調(diào)了在實際應(yīng)用中簡化大型語言模型采用的潛力。