曠視研究院院長孫劍講述：中國技術(shù)何以打敗Facebook、Google拿下世界第一

　　我們看一下神經(jīng)網(wǎng)絡(luò)為什么叫深度學(xué)習(xí)，其實(shí)說神經(jīng)網(wǎng)絡(luò)的層數(shù)非常多，它夠深，這是2012年Hinton和學(xué)生做的 AlexNet，一個(gè)八層的網(wǎng)絡(luò)，當(dāng)時(shí)認(rèn)為已經(jīng)非常深了。論文里還有一段，專門說八層比五層深是有道理的，證明深度是有道理的。論文發(fā)布以后還有很多人挑戰(zhàn)說其實(shí)更淺的也能做出來，現(xiàn)在已經(jīng)沒有人挑戰(zhàn)了。過兩年之后，牛津大學(xué)和谷歌分別開發(fā)出了它們的網(wǎng)絡(luò)，20層的網(wǎng)絡(luò)，性能提高非常多。這兩個(gè)網(wǎng)絡(luò)大概都是20層，這并不是巧合，到了20層以后系統(tǒng)就很難訓(xùn)練起來。我們自己做了一些工作，確實(shí)發(fā)現(xiàn)是這樣的問題，當(dāng)非線性系統(tǒng)非常復(fù)雜的時(shí)候，確實(shí)很難訓(xùn)練它。

　　在2015年的時(shí)候，當(dāng)時(shí)我還在微軟亞洲研究院，我們做了一個(gè)工作叫做 ResNet，第一次做了一個(gè)152層的網(wǎng)絡(luò)，它有效地解決了神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的優(yōu)化問題。我先放一個(gè)以前同事做的動(dòng)畫，給大家看一下152層網(wǎng)絡(luò)到底有多深。其中一個(gè)小橫桿是一層。

　　這網(wǎng)絡(luò)到底為什么能做成呢?其實(shí)核心是引用了一個(gè)殘差學(xué)習(xí)的概念，這概念就是說當(dāng)網(wǎng)絡(luò)非常深的時(shí)候，你要做一個(gè)變換，相鄰兩層的變化差別是不大，那只去學(xué)習(xí)殘差會(huì)比直接學(xué)習(xí)映射會(huì)更容易，所以我們就設(shè)計(jì)了殘差學(xué)習(xí)的思想，實(shí)際上可以用一個(gè)非常簡(jiǎn)單的跨層連接來實(shí)現(xiàn)，從而達(dá)到非常容易優(yōu)化的復(fù)雜的非線性動(dòng)態(tài)系統(tǒng)。為什么網(wǎng)絡(luò)可以很好的訓(xùn)練起來，我們自己相信的一個(gè)解釋是整個(gè)訓(xùn)練過程是一個(gè)從淺到深的訓(xùn)練動(dòng)態(tài)。還有一個(gè)數(shù)學(xué)上比較嚴(yán)謹(jǐn)?shù)慕忉屖撬�能夠很好的消除以前深度學(xué)習(xí)網(wǎng)絡(luò)反傳算法中梯度消失的問題，這是個(gè)非常嚴(yán)重的問題，當(dāng)你層數(shù)非常深的時(shí)候，梯度會(huì)越來越小，以至于計(jì)算機(jī)的精度會(huì)表示不了，就無法訓(xùn)練整個(gè)系統(tǒng)了，這個(gè)就在數(shù)學(xué)上保證了梯度不會(huì)變小。殘差網(wǎng)絡(luò)也代表微軟贏得了 ImageNet 2015年的冠軍，第一次超過了人類在圖像識(shí)別上的表現(xiàn)。

　　深度學(xué)習(xí)：破除魔咒之旅

　　ResNet 網(wǎng)絡(luò)說明了什么?它說明了我們走到今天這一步非常不容易的，Geoffrey Hinton總結(jié)了一下為什么深度學(xué)習(xí)做得越來越好，比如說計(jì)算量越來越強(qiáng)、數(shù)據(jù)越來越大，細(xì)節(jié)做的更對(duì)了。其實(shí)我想說的是殘差學(xué)習(xí)隱含了網(wǎng)絡(luò)結(jié)構(gòu)需要對(duì)優(yōu)化友好才可以做好。

　　我也分享一下，在前不久 AlphaGo Zero系統(tǒng)里面第一次用不學(xué)習(xí)人類棋譜的方式來戰(zhàn)勝了人類，其中有兩個(gè)核心技術(shù)，一個(gè)是自我博弈的增強(qiáng)學(xué)習(xí)，另外一個(gè)它也用到了我們的ResNet，用了一個(gè)40層或者80層的網(wǎng)絡(luò)來完成對(duì)棋譜到底哪里下子、到底對(duì)當(dāng)前棋局是贏還是輸?shù)囊粋�(gè)判斷。

　　深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的演化非�？�，我們給大家羅列了從2012年到2016年的一些代表性工作年。進(jìn)展非�？煲灾劣谖覀冏龅暮芏嘁曈X計(jì)算任務(wù)取得了非常大的進(jìn)展，例如Coco是目前物體檢測(cè)最重要的一個(gè)基準(zhǔn)測(cè)試。

　　今年我們贏得了冠軍。 2015年到2017年僅僅兩年，Coco物體檢測(cè)的精度從37變到了52。 37這個(gè)數(shù)字是當(dāng)時(shí)我們?cè)谖④浹芯吭鹤龅囊粋�(gè)工作，是當(dāng)時(shí)COCO的第一名。再往前2014年微軟創(chuàng)建COCO的時(shí)候，當(dāng)時(shí)的結(jié)果只有20多，如果用非深度學(xué)習(xí)方法可能不到20。我們今年也獲得了COCO Keypoint 競(jìng)賽的冠軍，這個(gè)問題就是說如何把每一個(gè)人的身體骨架都很精確的用3D姿態(tài)恢復(fù)出來，這樣很容易分析這個(gè)人的動(dòng)作。

　　另外我們還獲得了今年第一次舉辦的Places Instance Segmentation 的冠軍。這是大家努力的一個(gè)方向，模型越做越大、精度越做越高，所有訓(xùn)練要求計(jì)算力越來越大。還有一個(gè)方向是說，計(jì)算量不夠的時(shí)候，應(yīng)該去如何應(yīng)用這個(gè)技術(shù)，將其商業(yè)化。