新型語言模型 Huginn：突破推理界限 無需語言即可“思考”

　　近日，來自圖賓根埃利斯研究所、馬里蘭大學(xué)和勞倫斯利弗莫爾國家實(shí)驗(yàn)室的研究團(tuán)隊(duì)，開發(fā)出名為 Huginn 的新型語言模型，該模型采用遞歸架構(gòu)，顯著提升了推理能力。與傳統(tǒng)模型不同，Huginn 無需專門的“推理鏈”訓(xùn)練，便可在神經(jīng)網(wǎng)絡(luò)的“潛在空間”內(nèi)自主推理，再輸出結(jié)果。

　　研究團(tuán)隊(duì)開發(fā)出名為 Huginn 的新型語言模型，該模型采用遞歸架構(gòu)，顯著提升了推理能力。與傳統(tǒng)模型不同，Huginn 無需專門的“推理鏈”訓(xùn)練，便可在神經(jīng)網(wǎng)絡(luò)的“潛在空間”內(nèi)自主推理，再輸出結(jié)果。

　　Huginn 模型在 Frontier 超級計(jì)算機(jī)上，使用4096個(gè) AMD GPU 進(jìn)行了大規(guī)模訓(xùn)練。其訓(xùn)練方法獨(dú)特，采用可變計(jì)算迭代次數(shù)，系統(tǒng)隨機(jī)決定重復(fù)計(jì)算模塊的次數(shù)，從而使模型能更好適應(yīng)不同任務(wù)復(fù)雜度。

　　測試顯示，Huginn 在數(shù)學(xué)和編程任務(wù)中表現(xiàn)突出，在 GSM8k 和 MATH 基準(zhǔn)測試中，超越了參數(shù)規(guī)模和訓(xùn)練數(shù)據(jù)量均高于自身數(shù)倍的開源模型。研究人員觀察到，Huginn 能夠根據(jù)任務(wù)復(fù)雜性調(diào)整計(jì)算深度，并在“潛在空間”內(nèi)發(fā)展出推理鏈。分析表明，模型在“潛在空間”中形成復(fù)雜計(jì)算模式，例如解決數(shù)學(xué)問題時(shí)呈現(xiàn)圓形軌跡。這證明 Huginn能自主學(xué)習(xí)并以新穎方式進(jìn)行推理。

　　研究人員認(rèn)為，盡管 Huginn 絕對性能尚待提升，但作為概念驗(yàn)證模型，其已展現(xiàn)驚人潛力。 隨著推理時(shí)間延長和能力提升，采用 Huginn 架構(gòu)的大型模型有望成為傳統(tǒng)推理模型的替代方案。 團(tuán)隊(duì)強(qiáng)調(diào)，Huginn 的方法或能捕捉難以言表的推理類型，并計(jì)劃未來繼續(xù)研究，探索強(qiáng)化學(xué)習(xí)等擴(kuò)展方法，以進(jìn)一步提升模型性能。