35年首次證明，NYU重磅發(fā)現(xiàn)登Nature：神經(jīng)網(wǎng)絡(luò)具有類人泛化能力，舉一反三超GPT-4

　　35年來，認(rèn)知科學(xué)、人工智能、語言學(xué)和哲學(xué)領(lǐng)域的研究人員一直在爭論神經(jīng)網(wǎng)絡(luò)是否能實(shí)現(xiàn)類似人類的系統(tǒng)泛化。

　　具體來說，人們一直認(rèn)為，AI無法像人類一樣具有「系統(tǒng)泛化(systematic generalization)」能力，不能對沒有經(jīng)過訓(xùn)練的知識(shí)做到「舉一反三」，幾十年來這一直被認(rèn)為是AI的最大局限之一。

　　最近，NYU和西班牙龐培法布拉大學(xué)的研究者首次證明——它可以!

　　他們在這個(gè)方向取得了里程碑式的突破，論文已經(jīng)刊發(fā)在了Nature上。

　　論文鏈接：https://www.nature.com/articles/s41586-023-06668-3#auth-Brenden_M_-Lake-Aff1

　　研究人員提出了一種新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法——MLC(META-Learning for Compositionality)，能夠大幅提高神經(jīng)網(wǎng)絡(luò)「舉一反三」的能力，甚至能夠超越人類!

　　人類之所以能夠做到舉一反三，快速掌握復(fù)雜語言的含義或者某種技巧，是因?yàn)槿祟愄焐�具有「系統(tǒng)泛化」的能力。

　　舉個(gè)例子，如果我們從未聽過「秦始皇戴小紅帽——贏到姥姥家了」這個(gè)短語，但知道「秦始皇叫嬴政」，知道「小紅帽」的故事，就能理解這個(gè)歇后語，還能把它用在正確的地方。

　　但就算是「先進(jìn)如GPT-4」的AI模型卻還是無法理解這個(gè)歇后語，即使他知道「秦始皇叫嬴政」，以及「小紅帽」的故事。

　　研究人員通過一種新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法——MLC在變化的任務(wù)環(huán)境中訓(xùn)練模型，使模型逐步獲得組合詞匯含義的系統(tǒng)性推理能力。

　　結(jié)果表明，MLC模型不僅可以做出符合邏輯的響應(yīng),還能捕捉人類偏差性錯(cuò)誤的規(guī)律,在人機(jī)對比中展現(xiàn)出驚人的人類化思維。

　　甚至，通過MLC訓(xùn)練出來的模型，系統(tǒng)泛化能力已經(jīng)碾壓了GPT-4。

　　論文作者同時(shí)還強(qiáng)調(diào)，如果孩子們在自然成長的體驗(yàn)中也有類似MLC這樣的組合和激勵(lì)機(jī)制，就可以解釋人類的系統(tǒng)性泛化能力的來源。

　　這項(xiàng)研究可能會(huì)對人工智能和認(rèn)知科學(xué)都產(chǎn)生深遠(yuǎn)影響。

　　它表明合適的方法可以讓標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)獲得人類語言思維的核心特征——系統(tǒng)性復(fù)合推理能力。

　　盡管當(dāng)今最強(qiáng)大的AI模型(例如 ChatGPT)可以在許多對話場景中發(fā)揮作用，但在對未訓(xùn)練過的知識(shí)的理解能力上，仍然存在不足。

　　某種程度上導(dǎo)致了模型「幻覺」問題一直無法有效解決。

　　針對LLM的局限，作者強(qiáng)調(diào)，「研究通過MCL來解鎖了系統(tǒng)性泛化(SG)的更加強(qiáng)大的能力之后，也可能幫助大語言模型來克服自身固有的缺陷�！�

　　理解系統(tǒng)性泛化(Understanding Systematic Generalization)

　　這一突破性的研究在于系統(tǒng)性概括的概念。當(dāng)我們?nèi)祟愒诓煌�的環(huán)境時(shí)，擁有毫不費(fèi)力地適應(yīng)和使用新學(xué)單詞的能力。

　　例如，「Photobomb」是一個(gè)英語俚語，指的是在拍照時(shí)突然出現(xiàn)在照片中，通常是有意而為之，以吸引注意力或制造幽默效果。

　　一旦我們理解了「Photobomb」這個(gè)詞，我們就會(huì)本能地知道如何在各種情況下使用它，無論是「兩次Photobomb」還是「在使用Zoom期間進(jìn)行Photobomb」。

　　同樣地，當(dāng)人類理解「狗追貓」這樣的句式結(jié)構(gòu)之后，可以輕松掌握「貓追狗」的含義。

　　然而，人類固有的舉一反三的理解和泛化能力，對于人工智能來說一直是具有挑戰(zhàn)性的前沿領(lǐng)域。

　　傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)是AI研究的支柱，但是它不具備理解和泛化能力，神經(jīng)網(wǎng)絡(luò)只會(huì)努力合并一個(gè)新單詞，否則需要靠大量的樣本進(jìn)行廣泛的訓(xùn)練。

　　幾十年來，這種受限的泛化性一直是AI研究人員爭論的話題，關(guān)于神經(jīng)網(wǎng)絡(luò)作為人類認(rèn)知過程的真實(shí)反應(yīng)是否可行，引發(fā)了大量的討論。

　　在本文中，研究人員提供了證據(jù)，證明神經(jīng)網(wǎng)絡(luò)可以通過研究人員提出的MLC(Meta-Learning for Compositionality)系統(tǒng)實(shí)現(xiàn)類似人類的系統(tǒng)泛化。

　　MLC 是研究人員提出的一種優(yōu)化程序，旨在通過一系列少樣本合成任務(wù)來激勵(lì)系統(tǒng)性(如下圖1)。

　　研究人員展示了MLC如何通過實(shí)踐來提高神經(jīng)網(wǎng)絡(luò)的組合技能(Compositional Skills)。

　　MLC獲得一個(gè)新詞(或規(guī)則系統(tǒng))并嘗試系統(tǒng)地使用它。在不斷地修正和更新「理解」之后，可以對下一個(gè)新詞重復(fù)該過程。

　　研究人員構(gòu)建的MLC只使用了常見的神經(jīng)網(wǎng)絡(luò)，沒有添加符號(hào)機(jī)制，也沒有手工設(shè)計(jì)的內(nèi)部表示或歸納偏差。

　　相反，MLC提供了一種通過高級(jí)指導(dǎo)和/或直接人類示例來指定所需行為的方法;然后要求神經(jīng)網(wǎng)絡(luò)通過元學(xué)習(xí)(Meta Learning)來培養(yǎng)正確的學(xué)習(xí)技能。

　　為了證明MLC的能力，研究人員在相同的系統(tǒng)泛化測試中并排對比評(píng)估了人類和機(jī)器的能力。

　　具體來說，研究人員，在偽語言(pseudolanguage)指令學(xué)習(xí)任務(wù)中使用代數(shù)或數(shù)學(xué)概念，以測試人類和機(jī)器學(xué)習(xí)系統(tǒng)對這些概念的理解和應(yīng)用能力。

　　還研究了人們對高度模糊語言的探測反應(yīng)。這些語言探測的設(shè)計(jì)目的是了解人類在面對模糊信息時(shí)的傾向或偏差。

　　即人類如何進(jìn)行歸納推理，以及這些傾向或偏差是如何可能促進(jìn)或者阻礙系統(tǒng)性泛化。

　　在對結(jié)果進(jìn)行了評(píng)估之后，研究人員發(fā)現(xiàn)，MLC實(shí)現(xiàn)(甚至超過)人類水平的系統(tǒng)泛化!

　　當(dāng)人類行為偏離純粹代數(shù)推理時(shí)，MLC 還會(huì)產(chǎn)生類似人類的錯(cuò)誤模式。

　　這表明神經(jīng)網(wǎng)絡(luò)是一種卓越的建模工具，可用于細(xì)致入微的人類組合行為。

　　在最后一組模擬中，研究人員展示了 MLC 如何提高流行基準(zhǔn)的準(zhǔn)確性，以實(shí)現(xiàn)少樣本系統(tǒng)泛化。

　　研究細(xì)節(jié)(The Study in Detail)

　　為了更深入地研究神經(jīng)網(wǎng)絡(luò)的功能及其語言泛化的潛力，作者進(jìn)行了全面系統(tǒng)的實(shí)驗(yàn)，其不僅研究了機(jī)器，25名人類也交叉地參與其中，以此作為AI的表現(xiàn)基準(zhǔn)。

　　在實(shí)驗(yàn)中使用了一種偽語言，即參與者不熟悉的單詞，這樣能夠確保參與者真正第一次學(xué)習(xí)這些術(shù)語，從而為測試泛化性能提供一個(gè)可信的baseline。

　　如上圖(左側(cè))，原始類別包括「dax、wif、lug」等單詞，它們象征著類似于「jump、skip」跳過與跳躍的基本動(dòng)作(下圖左側(cè))。

　　另一方面，使用更抽象的功能詞，比如「blicket、kiki、feg」，為之前的原始詞術(shù)語的應(yīng)用和組合制定了規(guī)則，從而推斷出「skip twice、walk backwards」等序列。

　　在培訓(xùn)參與者的過程中還引入了視覺元素，每一個(gè)原始單詞都與特定顏色的圓圈相關(guān)聯(lián)。

　　例如，如下圖，紅色圓圈代表「dax」，而藍(lán)色圓圈代表「lux」。

　　制定好顏色單詞映射規(guī)則后，接下來，向參與者展示原始語和功能詞的組合，并附帶彩色的圓圈圖案。

　　例如，一個(gè)短語「fep」與三個(gè)紅色圓圈配對，說明「fep」可能代表一個(gè)動(dòng)作的三次重復(fù)。

　　此外，為了衡量參與者的理解能力和系統(tǒng)性的概括能力，還向它們展示了原始詞和功能詞的負(fù)責(zé)組合。參與者的任務(wù)是準(zhǔn)確地推斷出圓圈的顏色和數(shù)量，并進(jìn)一步給出正確的排列順序。

　　影響力和專家意見(Implications and Expert Opinions)

　　這項(xiàng)研究不僅僅是人工智能研究史冊上的又一個(gè)增量，還代表了范式的轉(zhuǎn)變。

　　神經(jīng)網(wǎng)絡(luò)的性能密切反映了類人系統(tǒng)的泛化能力，這引起了廣泛學(xué)者和行業(yè)專家的關(guān)注。

　　著名約翰霍普金斯大學(xué)語言專業(yè)認(rèn)知科學(xué)家Dr. Paul Smolensky表示：

　　「在訓(xùn)練過程中能讓網(wǎng)絡(luò)擁有系統(tǒng)化能力的重大突破。」

　　如果可以訓(xùn)練網(wǎng)絡(luò)進(jìn)行系統(tǒng)泛化，那么這些模型就可能徹底改變聊天機(jī)器人、虛擬助手等諸多應(yīng)用程序。

　　然而，這種發(fā)展不僅僅是技術(shù)的進(jìn)步，它還觸及了AI界長期存在的爭論：

　　「神經(jīng)網(wǎng)絡(luò)是否真的可以視作準(zhǔn)確模擬人類認(rèn)知的工具?」

　　在過去的近四十年里，這個(gè)問題一直是AI研究者們爭論不休的焦點(diǎn)。盡管有些人相信神經(jīng)網(wǎng)絡(luò)有潛力模擬類似人類思維過程，但另一些人依然對它們的天生局限表示懷疑，特別是在語言泛化領(lǐng)域。

　　這項(xiàng)研究的結(jié)果帶來了新的希望，使人們變得更加樂觀。

　　正如紐約大學(xué)認(rèn)知計(jì)算科學(xué)家、該研究的共同作者Brenden Lake所指出的，神經(jīng)網(wǎng)絡(luò)過去可能一直在取得艱難的進(jìn)展，但通過正確的方法，它們確實(shí)可以被調(diào)整和訓(xùn)練，以更好地反映人類認(rèn)知的各個(gè)方面。

　　邁向人機(jī)無縫協(xié)同的未來

　　AI從起初的萌芽階段到如今強(qiáng)大，經(jīng)歷了不斷地演化和突破。最近在訓(xùn)練神經(jīng)網(wǎng)絡(luò)系統(tǒng)的概括語言方面取得的成就再次證明AI的無限潛力。

　　當(dāng)我們處于這個(gè)關(guān)頭時(shí)，有必要認(rèn)識(shí)到這些進(jìn)步的廣泛應(yīng)用。

　　我們正一步步接近未來：機(jī)器不僅能理解人類的的語言，還能掌握細(xì)微的差別和語義，從而促進(jìn)更加無縫和直觀的人機(jī)交互未來。