AI十年：深度學(xué)習(xí)「革命」如火如荼

　　我們將如何被記住，取決于我們現(xiàn)在正在做什么。

　　作者 | Sharon Goldman

　　來源 | VentureBeat

　　十年前，人工智能先驅(qū)Geoffrey Hinton便開始研究深度學(xué)習(xí)“革命”，被稱為人工智能開拓者之一。在近期，他表示，未來，人工智能的快速發(fā)展將繼續(xù)加速。

　　此前，在2012年實(shí)現(xiàn)重大AI突破的關(guān)鍵神經(jīng)網(wǎng)絡(luò)研究10周年一次采訪中，Hinton和其他領(lǐng)先的AI杰出人物回?fù)袅艘恍┡�評者，他們認(rèn)為深度學(xué)習(xí)“碰壁了”。

　　“我們將看到機(jī)器人技術(shù)的巨大進(jìn)步——靈巧、敏捷、更順從的機(jī)器人，它們可以像我們一樣更高效、更溫和地做事。”Hinton 說。

　　包含AI負(fù)責(zé)人兼Meta首席科學(xué)家Yann LeCun和斯坦福大學(xué)教授李飛飛在內(nèi)的其他AI開拓者同意Hinton的觀點(diǎn)——即2012年對ImageNet數(shù)據(jù)庫的開創(chuàng)性研究的結(jié)果。他們認(rèn)為，該數(shù)據(jù)庫旨在解鎖重大計(jì)算機(jī)視覺和整體深度學(xué)習(xí)方面的進(jìn)步并將深度學(xué)習(xí)推向了主流，并引發(fā)了一股難以阻擋的勢頭。

　　LeCun在接受VentureBeat采訪時(shí)表示，“如今，這道障礙正在以令人難以置信的速度被清除。”他補(bǔ)充道，“過去四五年的進(jìn)展令人驚訝。”

　　Li在2006年發(fā)明了ImageNet(一個(gè)用于開發(fā)計(jì)算機(jī)視覺算法的大規(guī)模人工注釋照片數(shù)據(jù)集)，他告訴VentureBeat，自2012年以來，深度學(xué)習(xí)的發(fā)展堪稱“一場我做夢也想不到的驚人革命”。

　　不過，成功往往會(huì)招致批評。也有強(qiáng)烈的聲音指出深度學(xué)習(xí)的局限性，并指責(zé)它成功范圍是極其狹窄的。他們還堅(jiān)持認(rèn)為，神經(jīng)網(wǎng)絡(luò)所創(chuàng)造的炒作就是這樣，并不能接近一些支持者所說的根本性突破，它是最終幫助我們達(dá)到預(yù)期的“人工智能”的基礎(chǔ)。AGI(通用人工智能)中的推理能力才真正類似于人類。

　　一、蓬勃發(fā)展的人工智能十年

　　紐約大學(xué)名譽(yù)教授、Robust.AI 的創(chuàng)始人兼首席執(zhí)行官加里·馬庫斯 (Gary Marcus) 在去年3月寫過一篇關(guān)于深度學(xué)習(xí)“碰壁”的文章，并表示技術(shù)雖然取得了進(jìn)展，但“我們?nèi)耘f堅(jiān)持常識知識和推理的物理世界。”

　　華盛頓大學(xué)計(jì)算語言學(xué)教授Emily Bender表示，她認(rèn)為如今的自然語言處理 (NLP) 和計(jì)算機(jī)視覺模型加起來并沒有“邁向“其他人對AI和AGI的意義的實(shí)質(zhì)性步驟。

　　無論如何，批評者不可否認(rèn)的是，計(jì)算機(jī)視覺和語言等一些關(guān)鍵應(yīng)用已經(jīng)取得巨大進(jìn)步，成千上萬的公司都在爭相利用深度學(xué)習(xí)的力量，這種力量在推薦引擎、翻譯軟件、聊天機(jī)器人等方面均產(chǎn)生出令人印象深刻的成果。

　　然而，也有不容忽視的嚴(yán)肅的深度學(xué)習(xí)爭論。例如，圍繞人工智能倫理和偏見有一些基本問題需要解決;關(guān)于人工智能監(jiān)管如何保護(hù)公眾在就業(yè)、醫(yī)療保健和監(jiān)控等領(lǐng)域免受歧視的問題。

　　身處2022，當(dāng)我們回顧蓬勃發(fā)展的AI十年時(shí)，VentureBeat提出疑問，我們可以從過去十年的深度學(xué)習(xí)進(jìn)步中學(xué)到什么?這種改變世界的革命性技術(shù)的未來發(fā)展會(huì)如何，是好是壞?

　　二、人工智能先驅(qū)者：一場革命即將到來

　　Hinton一直都知道深度學(xué)習(xí)“革命”即將到來。

　　“我們中的很多人相信這一定是(人工智能)的未來，”Hinton說，他在1986年的論文中推廣了用于訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的反向傳播算法。“可我們設(shè)法證明，我們一直相信的東西是正確的。”

　　1989年率先使用反向傳播和卷積神經(jīng)網(wǎng)絡(luò)的LeCun對此表示贊同。他說：“我毫不懷疑未來最終會(huì)采用類似于我們在80年代、90年代開發(fā)的技術(shù)”。

　　Hinton和LeCun等人表示了一種相反的觀點(diǎn)，即多層神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)架構(gòu)可以應(yīng)用于計(jì)算機(jī)視覺、語音識別、NLP和機(jī)器翻譯等領(lǐng)域來造就與人類相同或超過人類的專家。他們反駁了那些經(jīng)常拒絕思考便駁斥他們研究的批評者，他們堅(jiān)持認(rèn)為，反向傳播和卷積神經(jīng)網(wǎng)絡(luò)等算法技術(shù)是推動(dòng)人工智能進(jìn)步的關(guān)鍵，自1980年代和1990年代的一系列挫折以來，人工智能一直停滯不前。

　　與此同時(shí)，身兼斯坦福以人為本人工智能研究所聯(lián)合主任、前谷歌人工智能和機(jī)器學(xué)習(xí)首席科學(xué)家的李也對她的假設(shè)充滿信心，認(rèn)為通過正確的算法，ImageNet 數(shù)據(jù)庫實(shí)現(xiàn)推進(jìn)計(jì)算機(jī)視覺和深度學(xué)習(xí)研究是正確的。

　　“這是一種可以開箱即用的機(jī)器學(xué)習(xí)思維方式和高風(fēng)險(xiǎn)舉措，”她說，但“我們在科學(xué)上相信這項(xiàng)假設(shè)是正確的。”

　　這些歷經(jīng)數(shù)十年人工智能研究發(fā)展的理論，直到2012年秋天才被完全證明，許多人認(rèn)為這引發(fā)了一場新的深度學(xué)習(xí)革命。

　　2012年10月，Alex Krizhevsky和Ilya Sutskever與Hinton一起獲得了博士學(xué)位。期間參加了由李創(chuàng)立的ImageNet競賽(該競賽旨在評估為大規(guī)模對象檢測和圖像分類而設(shè)計(jì)的算法)，這三人憑借他們的論文ImageNet Classification with Deep Convolutional Neural Networks獲勝。該論文使用ImageNet數(shù)據(jù)庫創(chuàng)建了一個(gè)名為AlexNet的開創(chuàng)性神經(jīng)網(wǎng)絡(luò)。事實(shí)證明，它在對不同圖像進(jìn)行分類方面比以前任何方法都準(zhǔn)確得多。

　　這篇讓AI研究界贊嘆不已的論文建立在早期突破的基礎(chǔ)上，并得益于 ImageNet數(shù)據(jù)集和更強(qiáng)大的GPU硬件，直接引導(dǎo)了未來十年的主要AI成功案例——從 Google Photos、Google Translate 和 Uber 到 Alexa， DALL-E 和AlphaFold。

　　此后，人工智能的投資呈指數(shù)級增長，人工智能的全球啟動(dòng)資金從2011 年的6.7億美元增長到2020年的360億美元，然后在2021年再次翻番，達(dá)到770億美元。

　　三、神經(jīng)網(wǎng)絡(luò)成為主流

　　從2012年ImageNet競賽之后，媒體機(jī)構(gòu)迅速關(guān)注深度學(xué)習(xí)趨勢。次月，《紐約時(shí)報(bào)》的一篇文章《科學(xué)家們在深度學(xué)習(xí)計(jì)劃中看到了希望》表示，這種受大腦如何識別模式理論啟發(fā)出的人工智能技術(shù)，在不同領(lǐng)域均取得驚人的進(jìn)展例如計(jì)算機(jī)視覺、語音識別和識別用于設(shè)計(jì)藥物的有前途的新分子。文章還表示，新的東西是“深度學(xué)習(xí)程序的速度和準(zhǔn)確性正在不斷提高，通常被稱之為人工神經(jīng)網(wǎng)絡(luò)或簡稱為‘神經(jīng)網(wǎng)絡(luò)’，因?yàn)樗鼈兣c大腦中的神經(jīng)連接相似。”

　　其實(shí)，AlexNet并不是唯一一家在那些年對深度學(xué)習(xí)方面大肆關(guān)注的人。2012年6月，谷歌X實(shí)驗(yàn)室的研究人員構(gòu)建了一個(gè)由16,000個(gè)計(jì)算機(jī)處理器組成的神經(jīng)網(wǎng)絡(luò)，具有10億個(gè)連接，隨著時(shí)間的推移，它開始能夠識別“類似貓”的特征，并可以高度準(zhǔn)確地識別YouTube上的貓視頻。與此同時(shí)，Jeffrey Dean和Andrew Ng也在Google Brain進(jìn)行大規(guī)模圖像識別方面的突破性工作。在2012 年的IEEE計(jì)算機(jī)視覺和模式識別會(huì)議上，研究人員Dan Ciregan等人顯著提高了卷積神經(jīng)網(wǎng)絡(luò)在多個(gè)圖像數(shù)據(jù)庫上的最佳性能。

　　總而言之，到2013年，“幾乎所有的計(jì)算機(jī)視覺研究都轉(zhuǎn)向了神經(jīng)網(wǎng)絡(luò)。”Hinton 說，他從那時(shí)起就在Google Research和多倫多大學(xué)之間分配時(shí)間。他補(bǔ)充說，從2007年開始，幾乎成為人工智能的一次徹底改變，不過當(dāng)時(shí)“在一次會(huì)議上發(fā)表兩篇關(guān)于深度學(xué)習(xí)的論文是不合適的”。

　　四

　　十年深度學(xué)習(xí)進(jìn)展

　　Li表示，她密切參與深度學(xué)習(xí)突破，并且在2012年意大利佛羅倫薩會(huì)議上親自宣布了ImageNet競賽的獲勝者——這意味著人們認(rèn)識到那一刻的重要性也就不足為奇了。

　　“[ImageNet]是一個(gè)始于2006年的愿景，幾乎沒有人支持，”李說。但是，它“真的以如此具有歷史意義的重大方式獲得了回報(bào)。”

　　自2012年以來，深度學(xué)習(xí)的發(fā)展速度驚人，深度也令人震驚。

　　“有一些障礙正在以令人難以置信的速度被清除，”LeCun說，他引用了自然語言理解、文本生成翻譯和圖像合成方面的進(jìn)展。

　　有些領(lǐng)域的進(jìn)展甚至比預(yù)期的要快。對于Hinton來說，這包括在機(jī)器翻譯中使用神經(jīng)網(wǎng)絡(luò)，這在2014年取得了長足的進(jìn)步。“我曾以為會(huì)需要很多年，”他說。李認(rèn)為計(jì)算機(jī)視覺的進(jìn)步例如DALL-E——“比想象中更快。”

　　五、駁回深度學(xué)習(xí)批評者

　　然而，并不是所有人都認(rèn)同深度學(xué)習(xí)的進(jìn)展。2012年11月，紐約大學(xué)名譽(yù)教授、Robust.AI的創(chuàng)始人兼首席執(zhí)行官Gary Marcus為《紐約客》寫了一篇文章，他在文章中說：“套用一句古老的寓言，Hinton建造了一個(gè)不錯(cuò)的梯子，但梯子并不一定能讓你登上月球。”

　　今天，Marcus說，他認(rèn)為深度學(xué)習(xí)沒有比十年前更接近“月球”——月球是通用人工智能，或人類水平的人工智能。

　　“當(dāng)然有進(jìn)步，但為了登上月球，你必須解決因果理解和自然語言理解和推理，”他說。“在這些事情上沒有太大進(jìn)展。”

　　Marcus表示，他認(rèn)為將神經(jīng)網(wǎng)絡(luò)與符號人工智能(在深度學(xué)習(xí)興起之前主導(dǎo)該領(lǐng)域的 AI 分支)相結(jié)合的混合模型是對抗神經(jīng)網(wǎng)絡(luò)極限的前進(jìn)方向。

　　Hinton和 LeCun都駁斥了Marcus的批評。

　　“如果你看看最近的進(jìn)展，那真是太棒了，”Hinton 說，盡管過去深度學(xué)習(xí)能夠解決的問題范圍是有限的。

　　“我認(rèn)為有一些障礙需要清除，而這些障礙的解決方案現(xiàn)階段還并不完全清楚，”LeCun補(bǔ)充說，“但我并未看到進(jìn)展放緩，可以說，進(jìn)展正在加速。”

　　不過，本德爾并不相信。“在某種程度上，他們只是在談?wù)摳鶕?jù)ImageNet等基準(zhǔn)提供的標(biāo)簽對圖像進(jìn)行分類的進(jìn)展，相較2012年取得了一些質(zhì)的突破，”她通過電子郵件告訴 VentureBeat，“如果他們在談?wù)摫冗@更宏大的事情，那都是炒作。”

　　六、人工智能偏見和道德問題迫在眉睫

　　在其他方面，本德爾也認(rèn)為人工智能和深度學(xué)習(xí)領(lǐng)域已經(jīng)走得太遠(yuǎn)了。她說：“我確實(shí)認(rèn)為，將非常大的數(shù)據(jù)集處理成可以生成、合成文本和圖像的系統(tǒng)的能力(計(jì)算能力 + 有效算法)能夠使我們能夠以多種方式超越滑雪板。” 不過，“我們似乎陷入了一個(gè)循環(huán)，人們‘發(fā)現(xiàn)’模型有偏見，并提議試圖去訓(xùn)練它們，盡管公認(rèn)的結(jié)果是不會(huì)出現(xiàn)完全去偏見的數(shù)據(jù)集或模型。”

　　此外，她表示，希望看到該領(lǐng)域遵守真正的問責(zé)標(biāo)準(zhǔn)，無論是為了實(shí)際測試的經(jīng)驗(yàn)主張還是為了產(chǎn)品安全。為此，我們需要廣大公眾了解如何看穿人工智能的炒作，我們需要有效的監(jiān)管。

　　然而，LeCun指出，“人們傾向于簡化復(fù)雜而重要的問題”。并且，許多人“有惡意的假設(shè)”。他堅(jiān)持認(rèn)為，大多數(shù)公司“實(shí)際上都想做正確的事”。

　　此外，他還抱怨那些不參與人工智能科技和研究的人。

　　“你要有一個(gè)完整的生態(tài)系統(tǒng)，”他說，“人們在看臺上‘射擊’，基本上只是在吸引注意力。”

　　七、深度學(xué)習(xí)辯論會(huì)繼續(xù)

　　盡管這些辯論看起來很激烈，但李強(qiáng)調(diào)它們是科學(xué)的全部內(nèi)容。“科學(xué)不是真理，科學(xué)是尋求真理的旅程。”她說，“這是發(fā)現(xiàn)和改進(jìn)的旅程。所以辯論、批評、慶祝都是其中的一部分。”

　　然而，一些辯論和批評讓她覺得“有點(diǎn)做作”，無論是說AI都是錯(cuò)誤的，還是說 AGI指日可待。“我認(rèn)為這是一場更深入、更微妙、更細(xì)致、更多維的科學(xué)辯論的相對普及版本。”她說。

　　李指出，在過去十年中，人工智能的進(jìn)步令人失望的并不只是體現(xiàn)在技術(shù)上。“我認(rèn)為最令人失望的事情發(fā)生在2014年，當(dāng)時(shí)我和我以前的學(xué)生共同創(chuàng)立了AI4ALL，并開始將年輕女性、有色人種學(xué)生和服務(wù)欠缺社區(qū)的學(xué)生帶入人工智能的世界，”她說。“我們希望看到人工智能世界更加多樣化的未來。”

　　盡管現(xiàn)在只經(jīng)歷了八年，但她堅(jiān)持認(rèn)為變化太過緩慢。“我希望看到更快、更深層次的變化，但卻沒看到在培育方面付出的足夠努力。尤其是在初中和高中年齡段，”她說。“我們已經(jīng)失去了這么多有才華的學(xué)生。”

　　八、人工智能和深度學(xué)習(xí)的未來

　　LeCun承認(rèn)，一些人們投入大量資源的AI挑戰(zhàn)尚未得到解決，例如自動(dòng)駕駛。

　　“我會(huì)說其他人低估了它的復(fù)雜性，”他說，并補(bǔ)充說他沒有將自己歸入這一類別。“我知道這很難，而且需要很長時(shí)間，”他聲稱。“我不同意一些人的說法，他們說我們基本上已經(jīng)弄清楚了……那不過是讓這些模型出現(xiàn)更大問題。”

　　事實(shí)上，LeCun最近發(fā)布了一份創(chuàng)建“自主機(jī)器智能”的藍(lán)圖，這也表明他認(rèn)為當(dāng)前的人工智能方法不會(huì)讓我們達(dá)到人類水平的人工智能。

　　但他也看到了深度學(xué)習(xí)未來的巨大潛力。他說自身最興奮和積極工作的是讓機(jī)器更有效地學(xué)習(xí)——變得更像動(dòng)物和人類。

　　“對我來說，最大的問題是動(dòng)物學(xué)習(xí)的基本原則是什么。這是我一直倡導(dǎo)自我監(jiān)督學(xué)習(xí)等事物的原因之一。”他說。“這一進(jìn)展將使我們能夠構(gòu)建出目前完全遙不可及的東西，比如可以在日常生活中幫助我們的智能系統(tǒng)，就好像它們是人類助手一樣，這才是我們將需要的東西。因?yàn)槲覀冋�在為所有人戴上增�?qiáng)現(xiàn)實(shí)眼鏡，從而不得不與他們互動(dòng)。”

　　Hinton同意深度學(xué)習(xí)正在取得更多進(jìn)展。除了機(jī)器人技術(shù)的進(jìn)步，他還相信神經(jīng)網(wǎng)絡(luò)的基本計(jì)算基礎(chǔ)設(shè)施將會(huì)有另一個(gè)突破，因?yàn)?ldquo;目前只是用非常擅長做矩陣乘法器的加速器完成數(shù)字計(jì)算。” 他認(rèn)為，對于反向傳播，需要將模擬信號轉(zhuǎn)換為數(shù)字信號。

　　“我認(rèn)為我們會(huì)找到在模擬硬件中工作的反向傳播的替代方案。”他說。“我非常相信，從長遠(yuǎn)來看，幾乎所有的計(jì)算都將以模擬方式完成。”

　　李說，對于深度學(xué)習(xí)的未來，最重要的是交流和教育。“(在 Stanford HAI)，我們實(shí)際上花費(fèi)了過多的精力來教育商業(yè)領(lǐng)袖、政府、政策制定者、媒體、記者和記者以及整個(gè)社會(huì)，并創(chuàng)建專題討論會(huì)、會(huì)議、研討會(huì)、發(fā)布政策簡報(bào)、行業(yè)簡報(bào)。”

　　她補(bǔ)充到，對于如此新的技術(shù)，“我個(gè)人非常擔(dān)心出現(xiàn)由于缺乏背景知識而無助于傳達(dá)對這個(gè)時(shí)代更細(xì)致和更深思熟慮的描述。”

　　九、10年的深度學(xué)習(xí)將如何被銘記

　　對于 Hinton 來說，過去十年在深度學(xué)習(xí)方面取得了“超出我最瘋狂夢想”的成功。

　　“雖然深度學(xué)習(xí)取得了巨大的進(jìn)步，但它也應(yīng)該被記載為計(jì)算機(jī)硬件進(jìn)步的時(shí)代。因?yàn)檫@完全取決于計(jì)算機(jī)硬件的進(jìn)步。”他說。

　　像Marcus這樣的批評者說，雖然深度學(xué)習(xí)已經(jīng)取得了一些進(jìn)展，但“我認(rèn)為事后看來這可能是一種不幸。”他表示，我認(rèn)為2050年的人們會(huì)從2022年開始審視這些系統(tǒng)，然后發(fā)現(xiàn)，過去的人很勇敢，但卻并沒有真正發(fā)揮作用。

　　李希望過去十年將被銘記為“偉大的數(shù)字革命的開端，它使所有人，而不僅僅是少數(shù)人或部分人類，生活和工作得更好。”

　　她補(bǔ)充說，作為一名科學(xué)家，“我永遠(yuǎn)不會(huì)認(rèn)為當(dāng)下的深度學(xué)習(xí)是人工智能探索的終結(jié)。” 在社會(huì)方面，她希望將人工智能視為“一種令人難以置信的技術(shù)工具，用以人為本的方式被開發(fā)和使用。我們必須認(rèn)識到這種工具的深遠(yuǎn)影響，并接受以人為本的思維框架以及設(shè)計(jì)和部署人工智能。

　　“(畢竟)我們將如何被記住，取決于我們現(xiàn)在正在做什么。”

　　本文發(fā)自VentureBeat，原題為“10 years later, deep learning ‘revolution’ rages on, say AI pioneers Hinton, LeCun and Li”，作者Sharon Goldman，經(jīng)作者編譯整理，供業(yè)內(nèi)參考。