浙大團(tuán)隊(duì)推​SIFU模型:單張圖像準(zhǔn)確重建高質(zhì)量3D人體模型

　　在AR、VR、3D打印、場(chǎng)景搭建以及電影制作等多個(gè)領(lǐng)域中，獲得高質(zhì)量穿著衣服的人體3D模型變得至關(guān)重要。然而，傳統(tǒng)的創(chuàng)建方法耗時(shí)且需要專業(yè)設(shè)備捕捉多視角照片，還依賴技術(shù)熟練的專業(yè)人員。

　　與此相反，浙江大學(xué)ReLER實(shí)驗(yàn)室的研究人員提出了一種名為SIFU的模型，該模型能夠從單張圖像準(zhǔn)確重建3D人體模型，從而顯著降低了成本并簡(jiǎn)化了獨(dú)立創(chuàng)作的過程。

　　傳統(tǒng)的深度學(xué)習(xí)模型用于3D人體重建通常需要經(jīng)歷從圖像中提取2D特征、將2D特征轉(zhuǎn)換到3D空間，以及將3D特征用于人體重建的三個(gè)步驟。然而，在2D特征轉(zhuǎn)換到3D空間的階段，過去的方法常常忽略了人體先驗(yàn)的引入，導(dǎo)致特征提取不充分，從而影響最終的重建結(jié)果。

　　為了解決這個(gè)問題，SIFU模型引入了側(cè)視圖條件隱函數(shù)，通過在2D特征轉(zhuǎn)換到3D空間時(shí)加入人體側(cè)視圖作為先驗(yàn)條件，增強(qiáng)了幾何重建效果。此外，在紋理預(yù)測(cè)的階段，模型還引入了預(yù)訓(xùn)練的擴(kuò)散模型，以解決不可見區(qū)域紋理預(yù)測(cè)較差的問題。

　　SIFU模型的運(yùn)行分為兩個(gè)階段。在第一階段，借助側(cè)隱式函數(shù)，模型重建人體的幾何和粗糙的紋理。在第二階段，通過3D一致性紋理優(yōu)化流程，模型對(duì)紋理進(jìn)行精細(xì)化。這一流程中，作者設(shè)計(jì)了一種獨(dú)特的Side-view Decoupling Transformer，通過全局編碼器提取2D特征后，在解碼器中引入人體先驗(yàn)?zāi)Ｐ偷膫?cè)視圖，使得在圖像2D特征中解耦出人體不同方向的3D特征，從而用于重建。

　　實(shí)驗(yàn)結(jié)果顯示，SIFU模型在幾何重建和紋理重建方面均表現(xiàn)出色，不僅在全面多樣的測(cè)試集上取得了最好的效果，而且在模型面對(duì)有誤差的人體先驗(yàn)?zāi)Ｐ蜁r(shí)依然具有較好的重建精度。

　　該模型的高精度和高質(zhì)量重建效果使得其在3D打印、場(chǎng)景搭建、紋理編輯等領(lǐng)域具有廣泛的應(yīng)用前景。SIFU模型為單張圖片人體重建提供了一種創(chuàng)新的方法，為未來的研究和實(shí)際應(yīng)用提供了新的思路。