曠視研究院院長(zhǎng)孫劍講述：中國(guó)技術(shù)何以打敗Facebook、Google拿下世界第一

　　CV (計(jì)算機(jī)視覺(jué))在 AI 中大概的位置我用這一張圖來(lái)表現(xiàn)，其實(shí)我標(biāo)不同的方塊的顏色代表這個(gè)領(lǐng)域商業(yè)化的成熟度，這里語(yǔ)音和視覺(jué)是更接近商業(yè)化落地的，NLP和通用人工智能還有很長(zhǎng)的路要走。

　　CV今天非�；馃崾且�?yàn)樗�有非常多的�?yīng)用，從互聯(lián)網(wǎng)、安防、無(wú)人車、機(jī)器人到AR、VR等等，也允許大公司和創(chuàng)業(yè)公司在整個(gè)市場(chǎng)上并存。

　　做CV的話需要什么呢?既需要理論也需要?jiǎng)?chuàng)新，這里分享一下：上周日曠視科技成立了學(xué)術(shù)委員會(huì)，非常有幸請(qǐng)到了圖靈獎(jiǎng)唯一一位華人得主姚期智先生擔(dān)任學(xué)術(shù)委員會(huì)首席顧問(wèn)，幫我們?cè)诶碚摲矫姘殃P(guān)。

　　今天我會(huì)分享一下算法上面的工作。

　　計(jì)算方式的變革(或復(fù)興)：神經(jīng)網(wǎng)絡(luò)計(jì)算突破馮·諾依曼結(jié)構(gòu)的體系瓶頸

　　在講計(jì)算機(jī)視覺(jué)之前，我想先講一下對(duì)算法尤其是計(jì)算的理解。我們今天用的計(jì)算機(jī)還是馮·諾依曼結(jié)構(gòu)的計(jì)算機(jī)，它的計(jì)算機(jī)體系結(jié)構(gòu)設(shè)計(jì)的思想是要把數(shù)據(jù)和程序同時(shí)放在內(nèi)存里，好處是程序遇到不同的數(shù)據(jù)時(shí)可以改變程序，可以自適應(yīng)地處理數(shù)據(jù)，這非常了不起，因?yàn)樵谶@之前，如果不這樣的話，每一次不管是插線還是打孔，都很難去重新編程。后來(lái)圖靈也問(wèn)了個(gè)問(wèn)題：既然機(jī)器可以根據(jù)自動(dòng)處理數(shù)據(jù)，那是不是機(jī)器就可以擁有智能。

　　但是今天我們用了很長(zhǎng)時(shí)間的馮·諾依曼結(jié)構(gòu)，很大一個(gè)局限是它有一個(gè)瓶頸：學(xué)術(shù)界叫做馮·諾依曼瓶頸，其實(shí)是說(shuō)CPU和內(nèi)存之間的帶寬是不夠的。雖然 CPU 可以加速，但是數(shù)據(jù)越來(lái)越大，就會(huì)堵在中間。怎么去突破這一個(gè)瓶頸，目前的傳統(tǒng)計(jì)算機(jī)結(jié)構(gòu)是不能突破這一瓶頸的。

　　而我們大腦其實(shí)不是這樣的結(jié)構(gòu)，大腦里面所有的計(jì)算和表示都是在一個(gè)并行的網(wǎng)絡(luò)里面運(yùn)行的。

　　這跟我們今天做的神經(jīng)網(wǎng)絡(luò)也非常類似，這是神經(jīng)網(wǎng)絡(luò)的一個(gè)神經(jīng)元或者多個(gè)神經(jīng)元在做的一些處理，右邊是人腦神經(jīng)元的一些類別，基本上一個(gè)神經(jīng)元會(huì)接受相連接的幾百個(gè)、上千個(gè)神經(jīng)元來(lái)的輸入，然后做一個(gè)決策：神經(jīng)元到底是激活還是不激活。

　　所以如果我們看今天神經(jīng)網(wǎng)絡(luò)的計(jì)算是在做什么呢?其實(shí)是在通過(guò)一個(gè)函數(shù)把一個(gè)高維激活向量變成另外一個(gè)高維激活向量。我們目前的神經(jīng)網(wǎng)絡(luò)就是不停做這樣的變換，做一次、兩次，做很多次，以至于形成一個(gè)非常復(fù)雜的嵌套變換，這就是我們今天的神經(jīng)網(wǎng)絡(luò)。

　　我們可以把它拆成三個(gè)因素，一個(gè)是表示這樣的激活向量，還有里面的標(biāo)量非線性，還有權(quán)重矩陣，這是里面的三要素。激活向量其實(shí)是知識(shí)的表示，非線性是來(lái)表示這個(gè)神經(jīng)元是激活還是不激活，這權(quán)重矩陣是通過(guò)監(jiān)督學(xué)習(xí)到的知識(shí)。

　　這一個(gè)方式有很多好的特性，比如說(shuō)它是高度并行，內(nèi)存帶寬可以非常大，還有一個(gè)優(yōu)點(diǎn)就是計(jì)算非常簡(jiǎn)單，基本上就是矩陣乘，沒(méi)有有分枝判斷，沒(méi)有馮·諾依曼結(jié)構(gòu)下的復(fù)雜計(jì)算，所以這一種計(jì)算在一定意義上可以突破馮·諾依曼結(jié)構(gòu)的體系瓶頸，比如說(shuō)右側(cè)是今天神經(jīng)網(wǎng)絡(luò)的主要模式，左邊是以前的模式，可以看到計(jì)算可以提高帶寬10倍甚至上百倍。

　　這樣的計(jì)算，現(xiàn)在還有NVIDIA、AMD的GPU這樣的并行處理單元來(lái)加速，大家可以看到這個(gè)數(shù)字，120個(gè)TFLOP/S，這是今天 NVIDIA最好的顯卡能做到的計(jì)算力。大家可以比較一下去年GPU的顯卡還是Pascal 系列，是10個(gè)TFLOP/S，今年不管是 NVIDIA還是谷歌第二代的TPU，計(jì)算量提高了10倍、甚至20倍，這遠(yuǎn)遠(yuǎn)打破了摩爾定律，這是在訓(xùn)練端或者服務(wù)器端。