多視角4D人臉掃描系統(tǒng) 給AI裝一雙“慧眼”

　　圖像識(shí)別、智能助手、虛擬人、文生視頻……技術(shù)的發(fā)展和創(chuàng)新讓人們進(jìn)一步向智能時(shí)代邁進(jìn)。然而，目前運(yùn)用人工智能(AI)技術(shù)呈現(xiàn)的圖像畫面大多是二維效果，在空間、時(shí)間和細(xì)節(jié)方面仍有較大上升空間。

　　如何為AI裝一雙“慧眼”，讓畫面更清、更細(xì)、更自然?

　　近日，《中國科學(xué)報(bào)》記者從中國科學(xué)院深圳先進(jìn)技術(shù)研究院(以下簡稱深圳先進(jìn)院)了解到，該院集成技術(shù)研究所(以下簡稱集成所)機(jī)器視覺研究中心研究員宋展團(tuán)隊(duì)自主研發(fā)出多視角4D高精度人臉三維成像系統(tǒng)。相較傳統(tǒng)的3D人臉掃描技術(shù)，該系統(tǒng)在精度、分辨率和速度上均實(shí)現(xiàn)大幅提升，可應(yīng)用領(lǐng)域包括但不限于人臉識(shí)別、醫(yī)療診斷、影視特效等。

　　人臉掃描更快、更清、更細(xì)

　　據(jù)介紹，研究團(tuán)隊(duì)開發(fā)的多視角4D人臉掃描系統(tǒng)，由3個(gè)不同近紅外波段的結(jié)構(gòu)光相機(jī)構(gòu)成，底層算法采用團(tuán)隊(duì)提出的高頻條紋位移編碼三維重建方法，可以實(shí)現(xiàn)1080P(1920×1080像素)分辨率下超過100幀每秒的三維掃描速度，基于GPU的高并行三維重建算法可實(shí)現(xiàn)高達(dá)300赫茲的實(shí)時(shí)重建速度，且深度成像誤差小于0.05毫米。

　　“每個(gè)深度相機(jī)都由一個(gè)近紅外結(jié)構(gòu)光投影光柵和一個(gè)工業(yè)相機(jī)組成。深度相機(jī)每重建一次，投影儀都要向被測(cè)物體投射一組預(yù)設(shè)高頻條紋圖案，并用相機(jī)拍下它們?cè)诒粶y(cè)物體上產(chǎn)生變形的圖案。最終，根據(jù)相機(jī)拍到的變形圖案分析得到深度信息，即3D信息。深度相機(jī)實(shí)現(xiàn)連續(xù)掃描，增加了時(shí)間軸信息，由此得到4D信息。”深圳先進(jìn)院集成所在讀碩士生吳迪解釋說。

　　此外，為實(shí)現(xiàn)多角度更為完整的三維人臉動(dòng)態(tài)成像，該系統(tǒng)采用3種不同波段的近紅外光作為光源，既能避免人臉產(chǎn)生炫目，又能避免3套設(shè)備投影儀投射的圖案相互干擾，大大改善了成像完整性。

　　“近紅外光對(duì)人眼友好，但對(duì)皮膚具有一定的穿透性，使得投射的高頻光柵圖案模糊，降低了三維重建精度。”宋展表示。對(duì)此，研究團(tuán)隊(duì)采用了創(chuàng)新的圖像增強(qiáng)算法，結(jié)合高魯棒性的條紋編解碼算法突破，提高了解碼投射圖案的相位計(jì)算精度，從而提高了三維重建精度。與此同時(shí)，研究團(tuán)隊(duì)還要考慮算法的實(shí)時(shí)性和并行性，為3D動(dòng)態(tài)模型獲取、頭部姿態(tài)估計(jì)和面部表情遷移等基礎(chǔ)工作的研究提供高精度數(shù)據(jù)支持。

　　支撐AI生成更高質(zhì)量三維數(shù)據(jù)

　　宋展介紹，該系統(tǒng)在多個(gè)領(lǐng)域應(yīng)用前景廣闊。例如，在新型顯示技術(shù)領(lǐng)域，有望為全息投影、空氣成像等新型顯示技術(shù)以及AR顯示終端，提供三維數(shù)據(jù)采集設(shè)備;在影視領(lǐng)域，可實(shí)時(shí)捕捉演員的高精度面部表情，結(jié)合表情遷移技術(shù)，實(shí)現(xiàn)從真人的表情到卡通形象的表情遷移;在游戲領(lǐng)域，可捕捉用戶面部信息，結(jié)合視線追蹤技術(shù)，實(shí)現(xiàn)人機(jī)交互;在醫(yī)療領(lǐng)域，可幫助提供患者面部表情信息，助力醫(yī)療診斷等;在人形機(jī)器人領(lǐng)域，可為機(jī)器人提供更加精確、敏銳的4D視覺感知方法，讓其從只能干粗活變成干更多精細(xì)活。

　　AI技術(shù)的發(fā)展，很大程度上依賴于數(shù)據(jù)驅(qū)動(dòng)。

　　“二維平面上生成的圖像或視頻往往難以呈現(xiàn)真實(shí)世界的三維結(jié)構(gòu)，未來，AI技術(shù)生成的視頻將逐漸從二維向三維發(fā)展。想要生成更高質(zhì)量的三維視頻，離不開三維數(shù)據(jù)的支撐。”宋展說。

　　該系統(tǒng)可以為“3D+AI”研究提供真實(shí)、精細(xì)的高質(zhì)量三維數(shù)據(jù)，解決目前該研究領(lǐng)域高精度三維數(shù)據(jù)不足的問題，為AI模型生成更高質(zhì)量的視頻提供實(shí)時(shí)、高精度、高分辨率的數(shù)據(jù)支撐。

　　據(jù)了解，目前，研究團(tuán)隊(duì)已將該技術(shù)運(yùn)用于電影特效、特種加工、面部3D診療、動(dòng)態(tài)3D視覺引導(dǎo)裝配等方面，并取得了良好的效果。

　　未來，研究團(tuán)隊(duì)將進(jìn)一步加強(qiáng)底層算法研究，提高編碼效率成像速度，降低硬件成本，研制模塊化高時(shí)空分辨率4D成像器件，并將其應(yīng)用于工業(yè)和信息通信等更多領(lǐng)域，為新質(zhì)生產(chǎn)力發(fā)展提供銳利的視覺成像技術(shù)支撐。（記者 刁雯蕙）

　　《中國科學(xué)報(bào)》 (2024-05-08 第3版 領(lǐng)域)(刁雯蕙)