浙大團隊推​SIFU模型:單張圖像準確重建高質(zhì)量3D人體模型

　　在AR、VR、3D打印、場景搭建以及電影制作等多個領(lǐng)域中，獲得高質(zhì)量穿著衣服的人體3D模型變得至關(guān)重要。然而，傳統(tǒng)的創(chuàng)建方法耗時且需要專業(yè)設(shè)備捕捉多視角照片，還依賴技術(shù)熟練的專業(yè)人員。

　　與此相反，浙江大學(xué)ReLER實驗室的研究人員提出了一種名為SIFU的模型，該模型能夠從單張圖像準確重建3D人體模型，從而顯著降低了成本并簡化了獨立創(chuàng)作的過程。

　　傳統(tǒng)的深度學(xué)習(xí)模型用于3D人體重建通常需要經(jīng)歷從圖像中提取2D特征、將2D特征轉(zhuǎn)換到3D空間，以及將3D特征用于人體重建的三個步驟。然而，在2D特征轉(zhuǎn)換到3D空間的階段，過去的方法常常忽略了人體先驗的引入，導(dǎo)致特征提取不充分，從而影響最終的重建結(jié)果。

　　為了解決這個問題，SIFU模型引入了側(cè)視圖條件隱函數(shù)，通過在2D特征轉(zhuǎn)換到3D空間時加入人體側(cè)視圖作為先驗條件，增強了幾何重建效果。此外，在紋理預(yù)測的階段，模型還引入了預(yù)訓(xùn)練的擴散模型，以解決不可見區(qū)域紋理預(yù)測較差的問題。

　　SIFU模型的運行分為兩個階段。在第一階段，借助側(cè)隱式函數(shù)，模型重建人體的幾何和粗糙的紋理。在第二階段，通過3D一致性紋理優(yōu)化流程，模型對紋理進行精細化。這一流程中，作者設(shè)計了一種獨特的Side-view Decoupling Transformer，通過全局編碼器提取2D特征后，在解碼器中引入人體先驗?zāi)Ｐ偷膫?cè)視圖，使得在圖像2D特征中解耦出人體不同方向的3D特征，從而用于重建。

　　實驗結(jié)果顯示，SIFU模型在幾何重建和紋理重建方面均表現(xiàn)出色，不僅在全面多樣的測試集上取得了最好的效果，而且在模型面對有誤差的人體先驗?zāi)Ｐ蜁r依然具有較好的重建精度。

　　該模型的高精度和高質(zhì)量重建效果使得其在3D打印、場景搭建、紋理編輯等領(lǐng)域具有廣泛的應(yīng)用前景。SIFU模型為單張圖片人體重建提供了一種創(chuàng)新的方法，為未來的研究和實際應(yīng)用提供了新的思路。