騰訊優(yōu)圖提出半監(jiān)督對(duì)抗單目深度估計(jì)，被人工智能頂級(jí)期刊TPAMI收錄

　　作為國(guó)內(nèi)計(jì)算機(jī)視覺(jué)人工智能領(lǐng)域的領(lǐng)先者，騰訊優(yōu)圖實(shí)驗(yàn)室團(tuán)隊(duì)在單目深度估計(jì)上取得了新的研究進(jìn)展。

　　騰訊優(yōu)圖與廈門大學(xué)聯(lián)合團(tuán)隊(duì)，共同提出了半監(jiān)督對(duì)抗單目深度估計(jì)，有望充分利用海量的無(wú)標(biāo)簽數(shù)據(jù)所蘊(yùn)含的信息，結(jié)合少量有標(biāo)簽數(shù)據(jù)以半監(jiān)督的形式對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。據(jù)悉，該研究成果已被人工智能領(lǐng)域最頂級(jí)的國(guó)際期刊TPAMI收錄。

　　長(zhǎng)期以來(lái)，基于深度卷積神經(jīng)網(wǎng)絡(luò)的分類、回歸任務(wù)大多依賴大量的有標(biāo)簽數(shù)據(jù)來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。而在實(shí)際的算法部署中，往往只有海量的無(wú)標(biāo)簽數(shù)據(jù)以及非常少量的標(biāo)簽數(shù)據(jù)。如何充分利用這些少量的標(biāo)簽數(shù)據(jù)，使其達(dá)到和大量有標(biāo)簽數(shù)據(jù)下訓(xùn)練的模型相近的效果，對(duì)學(xué)術(shù)界和工業(yè)界來(lái)說(shuō)一直都是一個(gè)難題。

　　據(jù)騰訊優(yōu)圖的研究員介紹，該項(xiàng)研究的核心難點(diǎn)在于，如何從無(wú)標(biāo)簽數(shù)據(jù)中獲取監(jiān)督信息。傳統(tǒng)方法一般需要同一場(chǎng)景的圖像序列作為輸入，通過(guò)構(gòu)建立體幾何關(guān)系來(lái)隱式地對(duì)深度進(jìn)行重建。這種方法要求同一場(chǎng)景至少包含兩張以上的圖像，一般需要雙目攝像頭或視頻序列才可以滿足。騰訊優(yōu)圖與廈門大學(xué)聯(lián)合團(tuán)隊(duì)，提出在一個(gè)對(duì)抗訓(xùn)練的框架中，解除圖像對(duì)判別器對(duì)真假樣本必須為同一圖像的要求，“真樣本對(duì)”采用有標(biāo)簽數(shù)據(jù)的RGB圖像以及對(duì)應(yīng)的真實(shí)深度圖，“偽樣本對(duì)”采用無(wú)標(biāo)簽RGB圖像以及用生成器網(wǎng)絡(luò)預(yù)測(cè)出的深度圖，由判別器網(wǎng)絡(luò)區(qū)分預(yù)測(cè)出的深度圖與對(duì)應(yīng)RGB直接是否符合真實(shí)的聯(lián)合概率分布，進(jìn)而從無(wú)標(biāo)簽數(shù)據(jù)中收獲監(jiān)督信息。與此同時(shí)，通過(guò)添加深度圖判別器，來(lái)約束預(yù)測(cè)的深度圖與真實(shí)深度圖的分布一致性。該方法輸入可以為任意無(wú)關(guān)聯(lián)圖像，應(yīng)用場(chǎng)景更加廣泛。而從實(shí)驗(yàn)結(jié)果也發(fā)現(xiàn)，當(dāng)主流的深度估計(jì)網(wǎng)絡(luò)作為一個(gè)生成器網(wǎng)絡(luò)安插在半監(jiān)督框架中時(shí)，都可以收獲顯著的效果提升。

　　(圖1：騰訊優(yōu)圖與廈門大學(xué)聯(lián)合團(tuán)隊(duì)提出的半監(jiān)督對(duì)抗框架。圖中的生成器網(wǎng)絡(luò)接收兩個(gè)判別器網(wǎng)絡(luò)的反饋來(lái)更新自己的網(wǎng)絡(luò)參數(shù)。)

　　在研究的量化指標(biāo)上，利用半監(jiān)督對(duì)抗框架，當(dāng)有標(biāo)簽數(shù)據(jù)很少(500張)的情況下，僅使用250張無(wú)標(biāo)簽RGB圖像就可以收獲優(yōu)于其他state-of-the-art方法的效果。當(dāng)固定有標(biāo)簽數(shù)據(jù)量(500張)，持續(xù)增加無(wú)標(biāo)簽RGB圖像可以進(jìn)一步對(duì)效果帶來(lái)提升，最終當(dāng)利用五萬(wàn)張無(wú)標(biāo)簽RGB圖像后，該方法在各項(xiàng)指標(biāo)上都遠(yuǎn)超當(dāng)前的state-of-the-art方法。

　　​

　　(表1：當(dāng)有標(biāo)簽數(shù)據(jù)很少(500張)的情況下，僅使用250張無(wú)標(biāo)簽RGB圖像就可以收獲優(yōu)于其他SOTA方法的效果。)

　　(圖2：當(dāng)固定有標(biāo)簽數(shù)據(jù)量(500張)，持續(xù)增加無(wú)標(biāo)簽RGB圖像可以進(jìn)一步對(duì)效果帶來(lái)提升)

　　(圖3. 僅使用500張有標(biāo)簽數(shù)據(jù)訓(xùn)練的模型效果。從左到右依次為RGB圖像、真實(shí)深度圖和優(yōu)圖算法預(yù)測(cè)的深度圖。通過(guò)利用額外的無(wú)標(biāo)簽RGB數(shù)據(jù)，優(yōu)圖算法僅使用少量數(shù)據(jù)就可以達(dá)到較好的視覺(jué)效果)

　　據(jù)騰訊優(yōu)圖的研究員介紹，該研究方法雖然以單目深度預(yù)測(cè)為實(shí)驗(yàn)，但過(guò)程中發(fā)現(xiàn)對(duì)于語(yǔ)義分割任務(wù)也有相似的效果提升。與此同時(shí)，當(dāng)模型訓(xùn)練與算法部署的環(huán)境存在差異時(shí)(即存在Domain Shift)，若有標(biāo)簽數(shù)據(jù)為源域中的數(shù)據(jù)，而無(wú)標(biāo)簽數(shù)據(jù)為算法部署的目標(biāo)域中的數(shù)據(jù)，該方法還可以起到Domain Adaptation的效果，提升模型在目標(biāo)域的部署效果，該觀察也在非同源場(chǎng)景下的ReID任務(wù)中得到了初步的驗(yàn)證。

　　總的來(lái)說(shuō)，該項(xiàng)研究的核心在于充分挖掘無(wú)標(biāo)簽樣本所蘊(yùn)含的信息，減少對(duì)標(biāo)簽數(shù)據(jù)的依賴，未來(lái)有望在場(chǎng)景重建、非同源場(chǎng)景ReID等多個(gè)方案中進(jìn)行應(yīng)用。