Meta研究員探索AR/VR照片級真實感人體衣物穿著

　　可動畫的照片級真實感數(shù)字人類是實現(xiàn)社交臨場感的關鍵能力，并可以為遠程聯(lián)系開辟一條全新途徑。長期以來，計算機圖形學界一直在研究數(shù)字人類化身的構建問題。人體建模的早期研究是用最低限度的衣物來構建人體表面的低維幾何表示。

　　不過，過往的研究大多只關注于幾何體的建模，不能直接產生真實感的渲染輸出。即使采用了基于神經網絡的數(shù)據(jù)驅動方法，為照片級真實感衣物人體制作動畫依然是一個遠未解決的問題。

　　在名為《Modeling Clothing as a Separate Layer for an Animatable Human Avatar》的論文中，卡內基梅隆大學和Facebook Reality Labs Reaserch的研究人員嘗試通過可輕松訪問的驅動信號來動畫化照片級真實感的穿衣化身，例如三維身體姿勢和面部關鍵點。

　　利用諸如Variational Autoencoders(VAE)這樣的深度生成模型來同時建模幾何體和紋理已證明是創(chuàng)建照片級真實感人臉化身的有效方法。最近業(yè)界已經擴展了這種方法，以身體姿勢和面部關鍵點為條件，通過VAE對全身化身進行建模。

　　由于所述條件信號不能唯一地描述所有的身體狀態(tài)，如頭發(fā)和注視點，VAE隱代碼用于區(qū)分多個可能的身體階段。另外，為了減少驅動信號和隱碼之間的偽相關，必須對驅動信號和隱碼進行分離。

　　盡管先前的研究已經取得了進展，但在構建高保真的可動畫全身化身方面依然存在挑戰(zhàn)，團隊將衣物建模確定為一個主要困難�？梢杂^察到的偽影包括身體姿勢和衣物狀態(tài)之間的不完全相關性、衣物和皮膚邊界的重影效果、以及嚴重的皺紋細節(jié)和動態(tài)損失等等。

　　當捕獲到的衣物松散且表現(xiàn)出高動態(tài)性時，這種偽影會變得更加明顯。一方面，由于配準的挑戰(zhàn)，網絡可能會對數(shù)據(jù)擬合不足，無法再現(xiàn)高頻衣物細節(jié);另一方面，盡管有解耦，但網絡依然可能會過度擬合，捕獲驅動信號和衣物狀態(tài)之間不必要的機會相關性。

　　為構建一個可用于穿衣人體的動畫化身，團隊提出了一種兩層網格表示方法。結果表明，顯式衣物建模不僅提高了衣物的渲染質量，而且實現(xiàn)了衣物紋理的可編輯性，從而為編解碼化身開辟了全新的可能性。穿衣人體的兩層配準不成功，就無法獲得兩層化身模型。

　　所以，團隊提出了一種新的穿衣人體配準函數(shù)和紋理對齊函數(shù)，利用逆渲染來提高光度學對應性。

　　在這項研究中，研究人員顯式地表示身體和衣物作為一個編解碼器化身中的單獨網格層。這帶來了數(shù)個好處。

　　首先，能夠準確地配準身體和衣物，特別是對于團隊新開發(fā)的光度追蹤方法(使用反向渲染將衣服紋理與參考對齊)。

　　第二，在單獨層中建模身體和衣物減輕了上述單層化身的機會相關性問題，因為單獨層自然地彼此分離。在團隊提出的兩層VAE中，關節(jié)角度的單個幀可以很好地描述身體狀態(tài)，而衣物動態(tài)可以通過Temporal Convolutional Network(TCN)從姿勢序列中推斷。

　　第三，由于衣物的顯式建模，動畫輸出可以進一步編輯，例如，通過改變衣物紋理。這帶來了改變全身化身外觀的可能性。

　　方法的中心思想是將身體和衣物明確地表示為兩個獨立的層。這種方法的動機有幾個方面。首先，研究人員注意到身體和衣物的變形遵循非常不同的動態(tài)模式。驅動信號中關節(jié)角度的單幀可以通過Linear Blending Skinning(LBS)和位置相關變形來確定人體狀態(tài)。相比之下，衣物的動態(tài)變化太大，不能在不考慮時間信息的情況下僅使用當前的身體姿勢來描述。所以，需要通過不同的輸入條件來控制身體和衣物層。

　　第二，在人體與衣物的單層配準中，沿衣物邊界的特定頂點可能會不準確。在不同的幀中，由于衣物的相對滑動運動，它可以屬于人體區(qū)域，或可以屬于衣服區(qū)域，這違反了單層假設。對于用這樣的數(shù)據(jù)訓練的編解碼器化身，其通常在所述區(qū)域具有衣物和皮膚的混合顏色，導致重影效果。盡管解耦可以緩解這類偽影，但由于捕獲衣物和身體之間交互的訓練數(shù)據(jù)有限，這無法保證。在研究中，通過在單獨層中配準身體和衣物，團隊避免了這種偽影。

　　第三，身體和衣物在單獨層中的表示為進一步改變化身的外觀打開了機會，例如在不干擾身體外觀的情況下對衣服紋理進行時間一致編輯。這種能力同時指明了通過物理模擬改變衣物風格的潛在方向。

　　需要注意的是，團隊指出這個可動畫模型可能無法泛化到與訓練姿勢分布有較大偏差的某些姿勢。另外，這項研究中只專注于T恤。為了將工作擴展到下半身的衣物，團隊需要將當前的兩層研究擴展到處理多個層，由于層之間可能存在遮擋，這對配準和建模都帶來了額外的挑戰(zhàn)。

　　另一種常見的下半身衣物是裙子，這可能更困難，因為它存在較大的運動和變形。同時，模型不能處理變拓衣物，如打開拉鏈夾克。

　　即使在現(xiàn)有的兩層框架下，如果手和衣服之間發(fā)生劇烈的交互，例如手拖拽衣服或手放在衣服里面，團隊的衣物配準方法都會失敗。目前衣物與人體之間的非物理交互建模可能不容易擴展以應對所述挑戰(zhàn)。對于接下來的研究，團隊將嘗試解決這一系列的問題。

　　總之，團隊的主要貢獻包括：

　　1.為照片級真實感全身臨場感提出了一個可動畫的兩層編解碼器化身模型的;與單層化身相比，團隊提出的虛擬化身可以產生更具時間連貫性，具有更清晰邊界和更少重影的動畫;

　　2.基于提出的兩層編解碼器化身的反向渲染，團隊提出了一種光度追蹤算法，它可以對齊顯著衣服紋理，大大提高配準衣物網格中的對應性;

　　3.通過對衣物紋理的編輯來演示兩層編解碼器化身的應用，而這是單層模型難以實現(xiàn)的情況。在實驗評估中，團隊證明了其相對于其他方法的有效性和優(yōu)勢。只需要一系列的姿勢和面部關鍵點作為輸入，所述模型就可以實現(xiàn)高質量的人體動畫，包括可以從任意角度觀看的照片級真實感衣物。