Google AI推出SANPO:多屬性視頻數(shù)據(jù)集助力高級(jí)視覺(jué)場(chǎng)景理解

　　Google AI最近推出了名為SANPO的數(shù)據(jù)集，旨在幫助AI模型更好地理解戶(hù)外人類(lèi)主觀(guān)場(chǎng)景。這一數(shù)據(jù)集的重要性在于，它不僅包括真實(shí)世界的數(shù)據(jù)，還包括合成數(shù)據(jù)，以及豐富的注釋和多屬性特征。這個(gè)數(shù)據(jù)集的推出將有助于解決自動(dòng)駕駛領(lǐng)域之外的人類(lèi)主觀(guān)場(chǎng)景理解的問(wèn)題。

　　SANPO數(shù)據(jù)集的名稱(chēng)來(lái)源于其功能，包括“場(chǎng)景理解、可訪(fǎng)問(wèn)性、導(dǎo)航、路徑規(guī)劃和障礙物避免”。它由真實(shí)世界數(shù)據(jù)和合成數(shù)據(jù)組成，其中真實(shí)世界數(shù)據(jù)包括來(lái)自?xún)蓚�(gè)立體攝像頭的視頻，支持多視角方法。這個(gè)數(shù)據(jù)集還包括了11.4小時(shí)的視頻，以每秒15幀的速度捕獲，并具有密集的注釋。

　　為了保護(hù)隱私，Google的研究人員在數(shù)據(jù)采集過(guò)程中遵循了當(dāng)?shù)亍⒊鞘泻椭菁?jí)的法律，并在發(fā)送數(shù)據(jù)進(jìn)行注釋之前，確保刪除了任何個(gè)人信息，如人臉和車(chē)輛牌照。

　　為了克服捕捉視頻時(shí)的不完美，比如運(yùn)動(dòng)模糊和人工評(píng)分錯(cuò)誤，研究人員引入了SANPO-Synthetic，這是一個(gè)高質(zhì)量的合成數(shù)據(jù)集，旨在與真實(shí)世界的條件相匹配。SANPO-Synthetic包括1961個(gè)會(huì)話(huà)，使用虛擬化的Zed相機(jī)錄制，頭部和胸部位置均衡分布。

　　SANPO數(shù)據(jù)集的另一個(gè)特點(diǎn)是對(duì)一部分真實(shí)世界數(shù)據(jù)和合成數(shù)據(jù)進(jìn)行了全景實(shí)例掩模的注釋?zhuān)瑸槊總�(gè)像素分配了類(lèi)別和ID。與真實(shí)世界數(shù)據(jù)不同，SANPO-Synthetic每幀包含更多實(shí)例。此外，SANPO是唯一一個(gè)同時(shí)具有全景分割和深度圖像數(shù)據(jù)的數(shù)據(jù)集。

　　研究人員使用SANPO數(shù)據(jù)集訓(xùn)練了兩個(gè)最先進(jìn)的模型，分別用于深度估計(jì)和全景分割。他們發(fā)現(xiàn)，這一數(shù)據(jù)集對(duì)于密集預(yù)測(cè)任務(wù)來(lái)說(shuō)非常具有挑戰(zhàn)性，而合成數(shù)據(jù)的準(zhǔn)確性要高于真實(shí)數(shù)據(jù)，這主要是因?yàn)檎鎸?shí)世界的環(huán)境相對(duì)復(fù)雜，而合成數(shù)據(jù)的分割注釋更加精確。

　　SANPO數(shù)據(jù)集的推出填補(bǔ)了人類(lèi)主觀(guān)場(chǎng)景理解領(lǐng)域缺乏數(shù)據(jù)集的空白，它包括真實(shí)世界和合成數(shù)據(jù)，具有豐富的注釋和多屬性特征，以及全景分割和深度信息的獨(dú)特組合。此外，研究人員的隱私承諾使這一數(shù)據(jù)集能夠支持其他研究人員開(kāi)發(fā)面向視障人士的視覺(jué)導(dǎo)航系統(tǒng)，并推動(dòng)先進(jìn)的視覺(jué)場(chǎng)景理解領(lǐng)域的發(fā)展。