還能再漲23%!AI寵兒NVIDIA成大摩明年首選AMD FSR 4.0將與RX 9070 XT顯卡同步登場(chǎng)羅永浩細(xì)紅線最新進(jìn)展,暫別AR,迎來(lái)AI Jarvis構(gòu)建堅(jiān)實(shí)數(shù)據(jù)地基,南京打造可信數(shù)據(jù)空間引領(lǐng)數(shù)字城市建設(shè)下單前先比價(jià)不花冤枉錢 同款圖書京東價(jià)低于抖音6折日媒感慨中國(guó)電動(dòng)汽車/智駕遙遙領(lǐng)先:本田、日產(chǎn)、三菱合并也沒戲消委會(huì)吹風(fēng)機(jī)品質(zhì)檢測(cè)結(jié)果揭曉 徠芬獨(dú)占鰲頭 共話新質(zhì)營(yíng)銷力,2024梅花數(shù)據(jù)峰會(huì)圓滿落幕索尼影像專業(yè)服務(wù) PRO Support 升級(jí),成為會(huì)員至少需注冊(cè) 2 臺(tái) α 全畫幅相機(jī)、3 支 G 大師鏡頭消息稱vivo加碼電池軍備競(jìng)賽:6500mAh 旗艦機(jī)+7500mAh中端機(jī)寶馬M8雙門轎跑車明年年初將停產(chǎn),后續(xù)無(wú)2026款車型比亞迪:2025 款漢家族車型城市領(lǐng)航智駕功能開啟內(nèi)測(cè)雷神預(yù)告2025年首次出席CES 將發(fā)布三款不同技術(shù)原理智能眼鏡realme真我全球首發(fā)聯(lián)發(fā)科天璣 8400 耐玩戰(zhàn)神共創(chuàng)計(jì)劃iQOO Z9 Turbo長(zhǎng)續(xù)航版手機(jī)被曝電池加大到6400mAh,搭驍龍 8s Gen 3處理器普及放緩 銷量大跌:曝保時(shí)捷將重新評(píng)估電動(dòng)汽車計(jì)劃來(lái)京東參與榮耀Magic7 RSR 保時(shí)捷設(shè)計(jì)預(yù)售 享365天只換不修國(guó)補(bǔ)期間電視迎來(lái)?yè)Q機(jī)潮,最暢銷MiniLED品牌花落誰(shuí)家?美團(tuán)旗下微信社群團(tuán)購(gòu)業(yè)務(wù)“團(tuán)買買”宣布年底停運(yùn)消息稱微軟正與第三方廠商洽談,試圖合作推出Xbox游戲掌機(jī)設(shè)備
  • 首頁(yè) > 云計(jì)算頻道 > 大模型

    35年首次證明,NYU重磅發(fā)現(xiàn)登Nature:神經(jīng)網(wǎng)絡(luò)具有類人泛化能力,舉一反三超GPT-4

    2023年10月27日 09:29:11   來(lái)源:AIGC開放社區(qū)公眾號(hào)

      35年來(lái),認(rèn)知科學(xué)、人工智能、語(yǔ)言學(xué)和哲學(xué)領(lǐng)域的研究人員一直在爭(zhēng)論神經(jīng)網(wǎng)絡(luò)是否能實(shí)現(xiàn)類似人類的系統(tǒng)泛化。

      具體來(lái)說(shuō),人們一直認(rèn)為,AI無(wú)法像人類一樣具有「系統(tǒng)泛化(systematic generalization)」能力,不能對(duì)沒有經(jīng)過(guò)訓(xùn)練的知識(shí)做到「舉一反三」,幾十年來(lái)這一直被認(rèn)為是AI的最大局限之一。

      最近,NYU和西班牙龐培法布拉大學(xué)的研究者首次證明——它可以!

      他們?cè)谶@個(gè)方向取得了里程碑式的突破,論文已經(jīng)刊發(fā)在了Nature上。

      論文鏈接:https://www.nature.com/articles/s41586-023-06668-3#auth-Brenden_M_-Lake-Aff1

      研究人員提出了一種新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法——MLC(META-Learning for Compositionality),能夠大幅提高神經(jīng)網(wǎng)絡(luò)「舉一反三」的能力,甚至能夠超越人類!

      人類之所以能夠做到舉一反三,快速掌握復(fù)雜語(yǔ)言的含義或者某種技巧,是因?yàn)槿祟愄焐哂小赶到y(tǒng)泛化」的能力。

      舉個(gè)例子,如果我們從未聽過(guò)「秦始皇戴小紅帽——贏到姥姥家了」這個(gè)短語(yǔ),但知道「秦始皇叫嬴政」,知道「小紅帽」的故事,就能理解這個(gè)歇后語(yǔ),還能把它用在正確的地方。

      但就算是「先進(jìn)如GPT-4」的AI模型卻還是無(wú)法理解這個(gè)歇后語(yǔ),即使他知道「秦始皇叫嬴政」,以及「小紅帽」的故事。

      研究人員通過(guò)一種新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法——MLC在變化的任務(wù)環(huán)境中訓(xùn)練模型,使模型逐步獲得組合詞匯含義的系統(tǒng)性推理能力。

      結(jié)果表明,MLC模型不僅可以做出符合邏輯的響應(yīng),還能捕捉人類偏差性錯(cuò)誤的規(guī)律,在人機(jī)對(duì)比中展現(xiàn)出驚人的人類化思維。

      甚至,通過(guò)MLC訓(xùn)練出來(lái)的模型,系統(tǒng)泛化能力已經(jīng)碾壓了GPT-4。

      論文作者同時(shí)還強(qiáng)調(diào),如果孩子們?cè)谧匀怀砷L(zhǎng)的體驗(yàn)中也有類似MLC這樣的組合和激勵(lì)機(jī)制,就可以解釋人類的系統(tǒng)性泛化能力的來(lái)源。

      這項(xiàng)研究可能會(huì)對(duì)人工智能和認(rèn)知科學(xué)都產(chǎn)生深遠(yuǎn)影響。

      它表明合適的方法可以讓標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)獲得人類語(yǔ)言思維的核心特征——系統(tǒng)性復(fù)合推理能力。

      盡管當(dāng)今最強(qiáng)大的AI模型(例如 ChatGPT)可以在許多對(duì)話場(chǎng)景中發(fā)揮作用,但在對(duì)未訓(xùn)練過(guò)的知識(shí)的理解能力上,仍然存在不足。

      某種程度上導(dǎo)致了模型「幻覺」問題一直無(wú)法有效解決。

      針對(duì)LLM的局限,作者強(qiáng)調(diào),「研究通過(guò)MCL來(lái)解鎖了系統(tǒng)性泛化(SG)的更加強(qiáng)大的能力之后,也可能幫助大語(yǔ)言模型來(lái)克服自身固有的缺陷。」

      理解系統(tǒng)性泛化(Understanding Systematic Generalization)

      這一突破性的研究在于系統(tǒng)性概括的概念。當(dāng)我們?nèi)祟愒诓煌沫h(huán)境時(shí),擁有毫不費(fèi)力地適應(yīng)和使用新學(xué)單詞的能力。

      例如,「Photobomb」是一個(gè)英語(yǔ)俚語(yǔ),指的是在拍照時(shí)突然出現(xiàn)在照片中,通常是有意而為之,以吸引注意力或制造幽默效果。

      一旦我們理解了「Photobomb」這個(gè)詞,我們就會(huì)本能地知道如何在各種情況下使用它,無(wú)論是「兩次Photobomb」還是「在使用Zoom期間進(jìn)行Photobomb」。

      同樣地,當(dāng)人類理解「狗追貓」這樣的句式結(jié)構(gòu)之后,可以輕松掌握「貓追狗」的含義。

      然而,人類固有的舉一反三的理解和泛化能力,對(duì)于人工智能來(lái)說(shuō)一直是具有挑戰(zhàn)性的前沿領(lǐng)域。

      傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)是AI研究的支柱,但是它不具備理解和泛化能力,神經(jīng)網(wǎng)絡(luò)只會(huì)努力合并一個(gè)新單詞,否則需要靠大量的樣本進(jìn)行廣泛的訓(xùn)練。

      幾十年來(lái),這種受限的泛化性一直是AI研究人員爭(zhēng)論的話題,關(guān)于神經(jīng)網(wǎng)絡(luò)作為人類認(rèn)知過(guò)程的真實(shí)反應(yīng)是否可行,引發(fā)了大量的討論。

      在本文中,研究人員提供了證據(jù),證明神經(jīng)網(wǎng)絡(luò)可以通過(guò)研究人員提出的MLC(Meta-Learning for Compositionality)系統(tǒng)實(shí)現(xiàn)類似人類的系統(tǒng)泛化。

      MLC 是研究人員提出的一種優(yōu)化程序,旨在通過(guò)一系列少樣本合成任務(wù)來(lái)激勵(lì)系統(tǒng)性(如下圖1)。

      研究人員展示了MLC如何通過(guò)實(shí)踐來(lái)提高神經(jīng)網(wǎng)絡(luò)的組合技能(Compositional Skills)。

      MLC獲得一個(gè)新詞(或規(guī)則系統(tǒng))并嘗試系統(tǒng)地使用它。在不斷地修正和更新「理解」之后,可以對(duì)下一個(gè)新詞重復(fù)該過(guò)程。

      研究人員構(gòu)建的MLC只使用了常見的神經(jīng)網(wǎng)絡(luò),沒有添加符號(hào)機(jī)制,也沒有手工設(shè)計(jì)的內(nèi)部表示或歸納偏差。

      相反,MLC提供了一種通過(guò)高級(jí)指導(dǎo)和/或直接人類示例來(lái)指定所需行為的方法;然后要求神經(jīng)網(wǎng)絡(luò)通過(guò)元學(xué)習(xí)(Meta Learning)來(lái)培養(yǎng)正確的學(xué)習(xí)技能。

      為了證明MLC的能力,研究人員在相同的系統(tǒng)泛化測(cè)試中并排對(duì)比評(píng)估了人類和機(jī)器的能力。

      具體來(lái)說(shuō),研究人員,在偽語(yǔ)言(pseudolanguage)指令學(xué)習(xí)任務(wù)中使用代數(shù)或數(shù)學(xué)概念,以測(cè)試人類和機(jī)器學(xué)習(xí)系統(tǒng)對(duì)這些概念的理解和應(yīng)用能力。

      還研究了人們對(duì)高度模糊語(yǔ)言的探測(cè)反應(yīng)。這些語(yǔ)言探測(cè)的設(shè)計(jì)目的是了解人類在面對(duì)模糊信息時(shí)的傾向或偏差。

      即人類如何進(jìn)行歸納推理,以及這些傾向或偏差是如何可能促進(jìn)或者阻礙系統(tǒng)性泛化。

      在對(duì)結(jié)果進(jìn)行了評(píng)估之后,研究人員發(fā)現(xiàn),MLC實(shí)現(xiàn)(甚至超過(guò))人類水平的系統(tǒng)泛化!

      當(dāng)人類行為偏離純粹代數(shù)推理時(shí),MLC 還會(huì)產(chǎn)生類似人類的錯(cuò)誤模式。

      這表明神經(jīng)網(wǎng)絡(luò)是一種卓越的建模工具,可用于細(xì)致入微的人類組合行為。

      在最后一組模擬中,研究人員展示了 MLC 如何提高流行基準(zhǔn)的準(zhǔn)確性,以實(shí)現(xiàn)少樣本系統(tǒng)泛化。

      研究細(xì)節(jié)(The Study in Detail)

      為了更深入地研究神經(jīng)網(wǎng)絡(luò)的功能及其語(yǔ)言泛化的潛力,作者進(jìn)行了全面系統(tǒng)的實(shí)驗(yàn),其不僅研究了機(jī)器,25名人類也交叉地參與其中,以此作為AI的表現(xiàn)基準(zhǔn)。

      在實(shí)驗(yàn)中使用了一種偽語(yǔ)言,即參與者不熟悉的單詞,這樣能夠確保參與者真正第一次學(xué)習(xí)這些術(shù)語(yǔ),從而為測(cè)試泛化性能提供一個(gè)可信的baseline。

      如上圖(左側(cè)),原始類別包括「dax、wif、lug」等單詞,它們象征著類似于「jump、skip」跳過(guò)與跳躍的基本動(dòng)作(下圖左側(cè))。

      另一方面,使用更抽象的功能詞,比如「blicket、kiki、feg」,為之前的原始詞術(shù)語(yǔ)的應(yīng)用和組合制定了規(guī)則,從而推斷出「skip twice、walk backwards」等序列。

      在培訓(xùn)參與者的過(guò)程中還引入了視覺元素,每一個(gè)原始單詞都與特定顏色的圓圈相關(guān)聯(lián)。

      例如,如下圖,紅色圓圈代表「dax」,而藍(lán)色圓圈代表「lux」。

      制定好顏色單詞映射規(guī)則后,接下來(lái),向參與者展示原始語(yǔ)和功能詞的組合,并附帶彩色的圓圈圖案。

      例如,一個(gè)短語(yǔ)「fep」與三個(gè)紅色圓圈配對(duì),說(shuō)明「fep」可能代表一個(gè)動(dòng)作的三次重復(fù)。

      此外,為了衡量參與者的理解能力和系統(tǒng)性的概括能力,還向它們展示了原始詞和功能詞的負(fù)責(zé)組合。參與者的任務(wù)是準(zhǔn)確地推斷出圓圈的顏色和數(shù)量,并進(jìn)一步給出正確的排列順序。

      影響力和專家意見(Implications and Expert Opinions)

      這項(xiàng)研究不僅僅是人工智能研究史冊(cè)上的又一個(gè)增量,還代表了范式的轉(zhuǎn)變。

      神經(jīng)網(wǎng)絡(luò)的性能密切反映了類人系統(tǒng)的泛化能力,這引起了廣泛學(xué)者和行業(yè)專家的關(guān)注。

      著名約翰霍普金斯大學(xué)語(yǔ)言專業(yè)認(rèn)知科學(xué)家Dr. Paul Smolensky表示:

      「在訓(xùn)練過(guò)程中能讓網(wǎng)絡(luò)擁有系統(tǒng)化能力的重大突破!

      如果可以訓(xùn)練網(wǎng)絡(luò)進(jìn)行系統(tǒng)泛化,那么這些模型就可能徹底改變聊天機(jī)器人、虛擬助手等諸多應(yīng)用程序。

      然而,這種發(fā)展不僅僅是技術(shù)的進(jìn)步,它還觸及了AI界長(zhǎng)期存在的爭(zhēng)論:

      「神經(jīng)網(wǎng)絡(luò)是否真的可以視作準(zhǔn)確模擬人類認(rèn)知的工具?」

      在過(guò)去的近四十年里,這個(gè)問題一直是AI研究者們爭(zhēng)論不休的焦點(diǎn)。盡管有些人相信神經(jīng)網(wǎng)絡(luò)有潛力模擬類似人類思維過(guò)程,但另一些人依然對(duì)它們的天生局限表示懷疑,特別是在語(yǔ)言泛化領(lǐng)域。

      這項(xiàng)研究的結(jié)果帶來(lái)了新的希望,使人們變得更加樂觀。

      正如紐約大學(xué)認(rèn)知計(jì)算科學(xué)家、該研究的共同作者Brenden Lake所指出的,神經(jīng)網(wǎng)絡(luò)過(guò)去可能一直在取得艱難的進(jìn)展,但通過(guò)正確的方法,它們確實(shí)可以被調(diào)整和訓(xùn)練,以更好地反映人類認(rèn)知的各個(gè)方面。

      邁向人機(jī)無(wú)縫協(xié)同的未來(lái)

      AI從起初的萌芽階段到如今強(qiáng)大,經(jīng)歷了不斷地演化和突破。最近在訓(xùn)練神經(jīng)網(wǎng)絡(luò)系統(tǒng)的概括語(yǔ)言方面取得的成就再次證明AI的無(wú)限潛力。

      當(dāng)我們處于這個(gè)關(guān)頭時(shí),有必要認(rèn)識(shí)到這些進(jìn)步的廣泛應(yīng)用。

      我們正一步步接近未來(lái):機(jī)器不僅能理解人類的的語(yǔ)言,還能掌握細(xì)微的差別和語(yǔ)義,從而促進(jìn)更加無(wú)縫和直觀的人機(jī)交互未來(lái)。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    明火炊具市場(chǎng):三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。