深度學(xué)習(xí)紅利將盡，AI 是否又面臨「死亡之谷」？

　　陷入又一輪 AI 寒冬?

　　人工智能存在于許多我們每天與之交互的技術(shù)中，比如最常見(jiàn)的語(yǔ)音助手和個(gè)性化推薦，以及不斷成熟的自動(dòng)駕駛。從去年到現(xiàn)在，AI 領(lǐng)域更是好消息不斷，OpenAI 的，它在下棋和游戲前完全不知道游戲規(guī)則，完全通過(guò)自己摸索贏得棋局。一時(shí)間，「AI 將替代人類(lèi)」的聲音不絕于耳。

　　但另一面，人類(lèi)豐滿(mǎn)的 AI 夢(mèng)，也正在撞上骨感的現(xiàn)實(shí)。近期，IBM 旗下的 Watson Health 被傳出將甩手賣(mài)掉，這個(gè)曾想替人類(lèi)解決腫瘤治療的 AI 部門(mén) 6 年來(lái)從未盈利。更致命的是，Watson Health 的診斷精度和專(zhuān)家結(jié)果只有 30% 的重合。

　　看向國(guó)內(nèi)，「AI 四小龍」中的商湯科技和曠視科技，時(shí)不時(shí)傳出計(jì)劃上市的消息，但似乎都中了「上市難」的魔咒。曠視科技的創(chuàng)始人印奇在去年 7 月，曾對(duì)媒體表示 AI 的快速爆發(fā)期發(fā)生在五六年前，現(xiàn)在正處于「死亡之谷」的泡沫期。繁榮表象之外的冰冷現(xiàn)實(shí)，都能讓人想到「人工智能的寒冬」：與 AI 有關(guān)的研究或其他項(xiàng)目難以獲得資金，人才和公司停滯不前。

　　清華大學(xué)人工智能研究院院長(zhǎng)張鈸曾表示，行業(yè)崇尚深度學(xué)習(xí)，但它本身的「缺陷」決定了其應(yīng)用的空間被局限在特定的領(lǐng)域——大部分都集中在圖像識(shí)別、語(yǔ)音識(shí)別。而目前深度學(xué)習(xí)似乎已經(jīng)到了瓶頸期，就算財(cái)力和算力仍在不斷投入，但深度學(xué)習(xí)的回報(bào)率卻沒(méi)有相應(yīng)的增長(zhǎng)。

　　「目前基于深度學(xué)習(xí)的人工智能在技術(shù)上已經(jīng)觸及天花板，此前由這一技術(shù)路線(xiàn)帶來(lái)的『奇跡』在 AlphaGo 獲勝后未再出現(xiàn)，而且估計(jì)未來(lái)也很難繼續(xù)大量出現(xiàn)�！箯堚撜f(shuō)。

　　被寄予厚望的深度學(xué)習(xí)，是否會(huì)讓人工智能陷入又一輪寒冬?「在每一次人工智能『寒冬』到來(lái)之前，科學(xué)家都會(huì)夸大他們的研究的潛力。僅僅說(shuō)他們的算法擅長(zhǎng)某一項(xiàng)任務(wù)還不夠，他們恨不得說(shuō) AI 能解決所有事。」長(zhǎng)期研究數(shù)據(jù)科學(xué)和 AI 的作者 Thomas Nield 說(shuō)道。但真正的通用人工智能，離我們似乎還很遙遠(yuǎn)。

　　深度學(xué)習(xí)是什么?

　　就在 AI 慢慢沉寂，變成「隱學(xué)」的時(shí)候，Geoffrey Hinton、Yoshua Bengio 和 Yann LeCon 三位學(xué)者默默開(kāi)始了 AI 的一個(gè)重要分支——神經(jīng)網(wǎng)絡(luò)——的研究。

　　簡(jiǎn)單來(lái)說(shuō)，神經(jīng)網(wǎng)絡(luò)就是一層層的數(shù)字，這些數(shù)字又被稱(chēng)為「神經(jīng)元」。之所以這樣命名，是因?yàn)榭茖W(xué)家認(rèn)為這些數(shù)字相互聯(lián)系，傳遞信號(hào)，就像大腦里的神經(jīng)元通過(guò)突觸來(lái)傳遞神經(jīng)刺激一樣。而神經(jīng)網(wǎng)絡(luò)里的每一層數(shù)字都通過(guò)一些約定的數(shù)學(xué)規(guī)則從上一層的數(shù)字計(jì)算得到。

　　而「深度學(xué)習(xí)」的概念源于神經(jīng)網(wǎng)絡(luò)的研究，是研究神經(jīng)網(wǎng)絡(luò)的學(xué)問(wèn)。這里的「深度」，指的就是神經(jīng)網(wǎng)絡(luò)含有無(wú)數(shù)隱層，深不可測(cè)。

　　機(jī)器要模擬人類(lèi)行為，要先獲取數(shù)據(jù)，然后經(jīng)過(guò)預(yù)處理、特征提取、特征選擇，再到推理、預(yù)測(cè)或識(shí)別。其中最關(guān)鍵的，就是中間的三個(gè)步驟，同時(shí)也是系統(tǒng)中最耗費(fèi)計(jì)算的部分。在現(xiàn)實(shí)中，一般都是靠人工提取特征，而深度學(xué)習(xí)的思路是自動(dòng)學(xué)習(xí)特征。

　　深度學(xué)習(xí)模型一般由輸入層，隱層和輸出層構(gòu)成�；�本思想是：上一層的輸出作為下一層的輸入，來(lái)實(shí)現(xiàn)對(duì)輸入信息的分級(jí)表達(dá)，進(jìn)而通過(guò)組合低層特征形成更加抽象的高層表示屬性類(lèi)別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征。也就是說(shuō)，機(jī)器學(xué)會(huì)「抽象思考」了。

　　上述三位 AI 泰斗堅(jiān)持著自己的學(xué)術(shù)方向，把神經(jīng)網(wǎng)絡(luò)推廣到了更多的領(lǐng)域，比如計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等等。終于在幾十年后，他們等來(lái)了屬于深度學(xué)習(xí)的時(shí)代。互聯(lián)網(wǎng)和移動(dòng)端的興起讓海量的數(shù)據(jù)唾手可得，而計(jì)算機(jī)硬件在人類(lèi)一次又一次挑戰(zhàn)著納米世界的極限中，順著摩爾的預(yù)言一路狂奔。2012 年，深度學(xué)習(xí)暴得大名，因?yàn)?Geoffrey Hinton 基于卷積神經(jīng)網(wǎng)絡(luò)的 AlexNet 以驚人優(yōu)勢(shì)贏下 ImageNet 視覺(jué)識(shí)別挑戰(zhàn)賽。另外在這個(gè)實(shí)驗(yàn)中，人們發(fā)現(xiàn)，只有圖像的樣本量夠大，隱層夠多，識(shí)別率就能大幅提高，這極大地鼓舞了學(xué)界和企業(yè)。

　　數(shù)據(jù)越多，越智能?

　　OpenAI 最新的自然語(yǔ)言處理模型 GPT-3，幾乎是把整個(gè)互聯(lián)網(wǎng)的浩瀚內(nèi)容全部讀完了。它總共閱讀了大約 5000 億詞，模型大概有 1750 億參數(shù)。系統(tǒng)有上萬(wàn)個(gè) CPU/GPU，它們 24 小時(shí)不間斷地「閱讀」任何領(lǐng)域的信息，半個(gè)月讀完了整個(gè)互聯(lián)網(wǎng)的內(nèi)容。猛灌數(shù)據(jù)量，是這個(gè) AI 模型的「暴力」所在。

　　但 GPT-3 也并不能因此變得完全像人，比如，它對(duì)不符合人類(lèi)常理的「?jìng)螁?wèn)題」也會(huì)應(yīng)答，這恰恰證明它并不理解問(wèn)題本身。前 Uber 人工智能實(shí)驗(yàn)室的負(fù)責(zé)人 Gary Marcus 就曾對(duì)深度學(xué)習(xí)多次潑冷水：「人類(lèi)可以根據(jù)明確的規(guī)律學(xué)習(xí)，比如學(xué)會(huì)一元二次方程的三種形式以后就可以用來(lái)解各種題目;見(jiàn)過(guò)了京巴、柴犬之后，再見(jiàn)到德牧就知道它也是一種狗。然而深度學(xué)習(xí)不是這樣的，「越多的數(shù)據(jù) = 越好的模型表現(xiàn)」，就是深度學(xué)習(xí)的基本規(guī)律，它沒(méi)有能力從字面上給出的規(guī)律學(xué)習(xí)�！�

　　「深度學(xué)習(xí)是尋找那些重復(fù)出現(xiàn)的模式，因此重復(fù)多了就被認(rèn)為是規(guī)律(真理)，因此謊言重復(fù)一千遍就被認(rèn)為真理，所以為什么大數(shù)據(jù)有時(shí)會(huì)做出非常荒唐的結(jié)果，因?yàn)椴还軐?duì)不對(duì)，只要重復(fù)多了它就會(huì)按照這個(gè)規(guī)律走，就是誰(shuí)說(shuō)多了就是誰(shuí)�！箯堚撛菏恳脖硎旧疃葘W(xué)習(xí)「沒(méi)有那么玄」。

　　由于它不能真正理解知識(shí)，「深度學(xué)習(xí)學(xué)到的知識(shí)并不深入，而且很難遷移�！筂arcus 說(shuō)道。而 AI 系統(tǒng)動(dòng)輒擁有千億參數(shù)，儼然就是一個(gè)黑匣子一般的謎。深度學(xué)習(xí)的不透明性將引致 AI 偏見(jiàn)等系列問(wèn)題。最主要的是，AI 還是要為人所用，「你要它做決策，你不理解它，飛機(jī)就讓它開(kāi)，誰(shuí)敢坐這架飛機(jī)？」張鈸強(qiáng)調(diào) AI 必須擁有可解釋性。

　　最主要的是，給 AI 猛灌數(shù)據(jù)的做法極其考驗(yàn)算力。MIT 研究人員理解深度學(xué)習(xí)性能和算力之間的聯(lián)系，分析了 Arxiv.org 上的 1058 篇論文和資料，主要分析了圖像分類(lèi)、目標(biāo)檢測(cè)、問(wèn)題回答、命名實(shí)體識(shí)別和機(jī)器翻譯等領(lǐng)域兩方面的計(jì)算需求：

　　1、每一網(wǎng)絡(luò)遍歷的計(jì)算量，或給定深度學(xué)習(xí)模型中單次遍歷(即權(quán)值調(diào)整)所需的浮點(diǎn)運(yùn)算數(shù)。

　　2、訓(xùn)練整個(gè)模型的硬件負(fù)擔(dān)，用處理器數(shù)量乘以計(jì)算速度和時(shí)間來(lái)估算。

　　結(jié)論顯示，訓(xùn)練模型的進(jìn)步取決于算力的大幅提高，具體來(lái)說(shuō)，計(jì)算能力提高 10 倍相當(dāng)于 3 年的算法改進(jìn)成果。換言之，算力提高的背后，其實(shí)現(xiàn)目標(biāo)所隱含的計(jì)算需求——硬件、環(huán)境和金錢(qián)等成本將變得無(wú)法承受。

　　摩爾定律假定計(jì)算能力每?jī)赡攴�一番。OpenAI 一項(xiàng)研究表明，AI 訓(xùn)練中使用的計(jì)算能力每三到四個(gè)月翻一番。自 2012 年以來(lái)，人工智能要求計(jì)算能力增加三十萬(wàn)倍，而按照摩爾定律，則只能將 AI 提升 7 倍。人們從來(lái)沒(méi)有想到芯片算力極限會(huì)這么快到來(lái)。

　　算力供不起是一回事，但業(yè)界甚至認(rèn)為這種「暴力」模式方向錯(cuò)了�！钢�識(shí)、經(jīng)驗(yàn)、推理能力，這是人類(lèi)理性的根本�，F(xiàn)在形成的人工智能系統(tǒng)都非常脆弱容易受攻擊或者欺騙，需要大量的數(shù)據(jù)，而且不可解釋?zhuān)�存在非常�?yán)重的缺陷，這個(gè)缺陷是本質(zhì)的，由其方法本身引起的。」張鈸表示，「深度學(xué)習(xí)的本質(zhì)就是利用沒(méi)有加工處理過(guò)的數(shù)據(jù)用概率學(xué)習(xí)的『黑箱』處理方法來(lái)尋找它的規(guī)律，它只能找到重復(fù)出現(xiàn)的模式，也就是說(shuō)，你光靠數(shù)據(jù)，是無(wú)法達(dá)到真正的智能�！�

　　深度學(xué)習(xí)紅利將盡，但 AI 還在發(fā)展

　　在張鈸看來(lái)，既然深度學(xué)習(xí)在根子上就錯(cuò)了，那么技術(shù)改良也就很難徹底解決 AI 的根本性缺陷。正是這些缺陷決定了其應(yīng)用的空間被局限在特定的領(lǐng)域——大部分都集中在圖像識(shí)別、語(yǔ)音識(shí)別兩方面�！肝铱戳艘幌�，中國(guó)人工智能領(lǐng)域 20 個(gè)獨(dú)角獸 30 個(gè)準(zhǔn)獨(dú)角獸企業(yè)，近 80% 都跟圖像識(shí)別或者語(yǔ)音識(shí)別有關(guān)系。」

　　他表示，「只要選好合適的應(yīng)用場(chǎng)景，利用成熟的人工智能技術(shù)去做應(yīng)用，還有較大的空間。目前在學(xué)術(shù)界圍繞克服深度學(xué)習(xí)存在的問(wèn)題，正展開(kāi)深入的研究工作，希望企業(yè)界，特別是中小企業(yè)要密切注視研究工作的進(jìn)展，及時(shí)地將新技術(shù)應(yīng)用到自己的產(chǎn)品中。當(dāng)然像谷歌、BAT 這樣規(guī)模的企業(yè)，他們都會(huì)去從事相關(guān)的研究工作，他們會(huì)把研究、開(kāi)發(fā)與應(yīng)用結(jié)合起來(lái)。」

　　一直在給深度學(xué)習(xí)潑冷水的 Gary Marcus， 提出要為深度學(xué)習(xí)祛魅：「我不認(rèn)為我們就要放棄深度學(xué)習(xí)。相反，我們需要將它重新概念化：它不是一種萬(wàn)能藥，而僅僅是作為眾多工具中的一種，在這個(gè)世界上，就像我們還需要錘子、扳手和鉗子。」

　　「深度學(xué)習(xí)只是目前人工智能技術(shù)的一部分，人工智能還有更大更寬的領(lǐng)域需要去研究，知識(shí)表示、不確定性處理、人機(jī)交互，等等一大片地方，不能說(shuō)深度學(xué)習(xí)就是人工智能�！箯堚撜f(shuō)。

　　另外，中科院自動(dòng)化研究所副所長(zhǎng)劉成林曾表示，「如今的 AI 熱潮其實(shí)主要依賴(lài)模式識(shí)別和深度學(xué)習(xí)的成功。深度學(xué)習(xí)的紅利將逐漸用盡，但 AI 的很多方向(感知、認(rèn)知、學(xué)習(xí)語(yǔ)言理解、機(jī)器人、混合智能、博弈等)還會(huì)繼續(xù)發(fā)展，總體上不會(huì)跌入深谷。