2月26日 消息:深度學習領(lǐng)域的研究人員發(fā)現(xiàn),語言模型在邏輯推理方面的表現(xiàn)仍然是一個重要挑戰(zhàn)。最新的一項由Google旗下的DeepMind(DeepMind)進行的研究揭示了一個簡單而重要的發(fā)現(xiàn):任務(wù)中前提的順序顯著影響語言模型的邏輯推理性能。
研究表明,當前提按照它們在邏輯結(jié)論中出現(xiàn)的順序呈現(xiàn)時,語言模型的表現(xiàn)最佳。這一現(xiàn)象對于數(shù)學問題同樣成立。研究人員將系統(tǒng)生成的測試數(shù)據(jù)納入R-GSM基準,以便進一步研究這一現(xiàn)象。
DeepMind的研究團隊表示,他們展示了前提順序?qū)φZ言模型在推理任務(wù)上的性能產(chǎn)生顯著影響,即使前提順序不改變?nèi)蝿?wù)本身。全面的評估表明,語言模型在處理推理問題時的偏好與人類在解決問題時對前提順序的偏好相似。也就是說,語言模型在前提順序遵循解決問題的中間推理步驟時表現(xiàn)最佳。相反,當推理問題要求模型來回閱讀問題描述時,導致性能下降超過30%。
研究中使用了GPT-3.5Turbo、GPT-4Turbo、PaLM2-L和Gemini Pro進行測試。有趣的是,OpenAI的GPT模型在前提順序與基本事實完全相反的情況下表現(xiàn)更好。
與此同時,研究還觀察到隨著規(guī)則數(shù)量的增加,性能也會下降。多余的前提還會使模型感到困惑。
對比結(jié)果還顯示,谷歌的新型Gemini Pro在邏輯順序下與OpenAI的較舊型號GPT-3.5Turbo的性能相似。即使規(guī)則數(shù)量相對較小,正確結(jié)論的準確性也會迅速下降,尤其是在故意插入混亂規(guī)則的情況下。
為了確保所有語言模型的公平測試,研究人員在規(guī)則中填充了“wozz”、“riff”和“fum”等幻想詞。
值得注意的是,研究人員并未就這一現(xiàn)象提供理論解釋,也未針對根據(jù)研究結(jié)果改進語言模型的推理能力提出可能的解決方案。盡管如此,這些結(jié)果有望為希望將語言模型用于基本推理任務(wù)的專業(yè)人士提供指導。
推理能力對于未來語言模型的應(yīng)用將產(chǎn)生重大影響。盡管近來我們在語言模型特性方面取得了一些突破,比如更大的上下文窗口,谷歌最近通過Gemini1.5Pro打破了這一界限。
然而,推理就像是人工智能研究的圣杯,而對于語言模型而言,具有堅實的推理能力將導致更為強大、多功能的系統(tǒng),能夠執(zhí)行更多任務(wù)。
正確的結(jié)論隨著規(guī)則數(shù)量的增加而減少,當故意插入令人困惑的規(guī)則時,情況甚至會更加嚴重。
盡管自O(shè)penAI發(fā)布GPT-4以來,在這一領(lǐng)域并未看到太多進展。業(yè)內(nèi)普遍認為,僅僅依靠大量文本和視覺數(shù)據(jù)的訓練并不足以實現(xiàn)根本更強大的人工智能系統(tǒng),這一觀點最近由DeepMind的首席執(zhí)行官Demis Hassabis和OpenAI的首席執(zhí)行官Sam Altman等領(lǐng)先研究人員和企業(yè)領(lǐng)導人反復(fù)提出。
通過這項研究,我們可以看到改變前提順序可能是提升語言模型推理能力的一種簡單而有效的方法,也為未來改進這一領(lǐng)域的研究提供了新的方向。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設(shè)計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導,由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。