Facebook提出Neural-GIF模型 為AR/VR模擬復(fù)雜衣服穿著效果

　　人類虛擬化身能夠?qū)崿F(xiàn)與增強(qiáng)現(xiàn)實和虛擬現(xiàn)實相關(guān)的眾多應(yīng)用，例如用于增強(qiáng)通信和娛樂的遠(yuǎn)程臨場感。人體形狀根據(jù)關(guān)節(jié)、軟組織和非剛性服裝動力學(xué)變形，這使得真實動畫極具挑戰(zhàn)性。最先進(jìn)的人體模型通常學(xué)習(xí)變形固定拓?fù)淠０�，使用線性混合蒙皮來建模關(guān)節(jié)，及通過混合形狀來建模非剛性效果，這甚至包括軟組織和衣服。使用固定模板會限制可建模的衣服類型和動力學(xué)。例如，使用一個或多個預(yù)定義模板對對象建模將十分困難。

　　另外，每種類型的變形(軟組織或衣服)都需要不同的模型公式。然后，為了訓(xùn)練模型，3D/4D掃描需要與之對應(yīng)，而這是一項具有挑戰(zhàn)性的任務(wù)，尤其是對于服裝。最近的研究利用隱式函數(shù)表示從圖像或三維點云重建人體形狀。但是，所述重建都為靜態(tài)，不可設(shè)置動畫。

　　在名為《Neural-GIF: Neural Generalized Implicit Functions for Animating People in Clothing》的論文中，圖賓根大學(xué)、馬克斯-普朗克研究所和Facebook組成的團(tuán)隊提出了一個名為Neural Generalized Implicit Functions (Neural-GIF) 的全新模型來動畫化穿衣人物。團(tuán)隊證明，可以以傳統(tǒng)方法所難以實現(xiàn)的質(zhì)量來對復(fù)雜的服裝和身體變形進(jìn)行建模。與大多數(shù)以前的研究相比，研究人員提出的模型學(xué)習(xí)姿勢相關(guān)的變形，無需注冊任何預(yù)定義模板，因為這會降低觀測的分辨率，并且是一個眾所周知的復(fù)雜步驟。相反，這一模型只需要輸入掃描的姿態(tài)以及SMPL形狀參數(shù)(β)。所述方法的另一個關(guān)鍵優(yōu)勢是，它可以使用完全相同的公式表示不同的拓?fù)浣Y(jié)構(gòu)。在研究中，團(tuán)隊同時展示了如何為未穿衣服的人物制作夾克、外套、裙子和軟組織的動畫。

　　給定一個姿勢(θ)作為輸入，Neural-GIF可以預(yù)測SDF。為了訓(xùn)練Neural-GIF，團(tuán)隊需要對固定衣服中的被試進(jìn)行3D掃描序列，以及需要相應(yīng)的SMPL參數(shù)。研究人員將運動分解，以在角色的正則空間中學(xué)習(xí)可變形SDF。為了獲得姿態(tài)相關(guān)SDK，團(tuán)隊合成了三個神經(jīng)函數(shù)組成：

　　正則映射網(wǎng)絡(luò)：通過學(xué)習(xí)的點與人體關(guān)聯(lián)來將構(gòu)成的三維空間中的每個點映射到正則空間;

　　位移場網(wǎng)絡(luò): 為非剛性姿勢相關(guān)變形(軟組織、布料動力學(xué))建模。具體來說，它預(yù)測了正則空間中點的連續(xù)位移場。

　　正則SDK：通過組合，正則SDF網(wǎng)絡(luò)將上述網(wǎng)絡(luò)中的變換點和姿態(tài)編碼作為輸入，以預(yù)測每個查詢點所需的符號距離。團(tuán)隊同時預(yù)測了一個曲面法向場作為正則空間中姿勢的函數(shù)，以增加結(jié)果的真實性。

　　總的來說，Neural-GIF由一個神經(jīng)網(wǎng)絡(luò)組成，用于近似設(shè)定曲面的符號距離場(SDF)。原生學(xué)習(xí)從姿勢預(yù)測SDF非常困難。相反，團(tuán)隊從基于模板的方法中得到啟發(fā)，除了將運動分解為鉸接和非剛性變形，同時將此概念泛化到內(nèi)隱形狀學(xué)習(xí)。具體地說，模型學(xué)習(xí)將曲面周圍的每個點映射到正則空間。在這個空間中，系統(tǒng)在評估SDF之前會將學(xué)習(xí)到的變形場應(yīng)用于非剛性效果的建模。Neural-GIF的優(yōu)點是，網(wǎng)絡(luò)可以更容易地在正則空間中學(xué)習(xí)基礎(chǔ)形狀。

　　團(tuán)隊在來自不同數(shù)據(jù)集的各種掃描上測試了所述方法，并提供廣泛的定量和定性比較。研究人員同時通過添加形狀相關(guān)的位移場網(wǎng)絡(luò)，將公式擴(kuò)展到多形狀設(shè)置。實驗表明，這一方法可以泛化到新的姿勢，模擬復(fù)雜的服裝，并且比現(xiàn)有的方法更加穩(wěn)健和詳細(xì)。

　　相關(guān)論文：Neural-GIF: Neural Generalized Implicit Functions for Animating People in Clothing

　　研究人員表示，Neural-GIF可以精確地建模任意拓?fù)浜头直媛实膹?fù)雜幾何體，因為模型不需要預(yù)定義的模板，同時不需要對模板進(jìn)行非剛性的掃描注冊。它在魯棒性、模擬復(fù)雜服裝風(fēng)格的能力和保留精細(xì)姿勢相關(guān)細(xì)節(jié)方面比之前的研究有了顯著的改進(jìn)。團(tuán)隊相信Neural Generalized Implicit Functions開辟了幾個有趣的研究方向，并計劃在接下來的時間里進(jìn)行探索。