微軟專利介紹用機(jī)器學(xué)習(xí)為HoloLens用戶提供完整面部顯示效果

　　在進(jìn)行視頻通話時(shí)，任何頭戴式顯示器系統(tǒng)都必須克服的一個(gè)基本問(wèn)題是：如何呈現(xiàn)用戶的完整面部。挑戰(zhàn)在于，頭顯遮蔽面部，尤其是眼睛;用戶通常是可以移動(dòng);以及用戶不在合適的捕獲設(shè)備的視場(chǎng)范圍內(nèi)。

　　在名為“Computing images of head mounted display wearer”的專利申請(qǐng)中，微軟介紹了一種利用機(jī)器學(xué)習(xí)裝置來(lái)計(jì)算補(bǔ)充完整用戶面部圖像的方法和系統(tǒng)。

　　圖1是佩戴頭顯102并參與視頻會(huì)議呼叫的人員100的示意圖，其中遠(yuǎn)程方112將所述人員感知成沒(méi)有佩戴頭顯時(shí)的形象。

　　在一個(gè)實(shí)現(xiàn)中，圖1中的示例涉及非對(duì)稱頭顯視頻呼叫，其中遠(yuǎn)程方112可以使用傳統(tǒng)顯示器，例如帶有集成網(wǎng)絡(luò)攝像頭的筆記本電腦。遠(yuǎn)程方112從本地用戶接收虛擬網(wǎng)絡(luò)攝像頭流，其中用戶100可以描述為沒(méi)有佩戴頭顯時(shí)的形象，并且其面部表情與用戶100的真實(shí)面部表情匹配。虛擬網(wǎng)絡(luò)攝像頭的視點(diǎn)是根據(jù)用戶偏好預(yù)先配置或設(shè)置。

　　在圖1的示例中，存在兩個(gè)額外的面向面部的捕獲設(shè)備，但由于它們被HMD主體遮擋，因此不可見(jiàn)。兩個(gè)附加的面部面向捕獲設(shè)備包括第一眼睛面向捕獲設(shè)備和第二眼睛面向捕獲設(shè)備。第一和第二眼睛面向捕獲設(shè)備可以分別是面向右眼的捕獲設(shè)備和面向左眼的捕獲設(shè)備，并且可以是紅外捕獲設(shè)備。第一和第二眼睛面向捕獲設(shè)備的視場(chǎng)布置成包括眼睛本身、鼻子的一部分以及眼睛周圍的臉頰區(qū)域。

　　如圖2所示，在臂架104中，由面向左眼的捕獲設(shè)備捕獲的圖像258、由面向右眼的捕獲設(shè)備捕獲的圖像260和由捕獲設(shè)備捕獲的圖像262都是在同一時(shí)間間隔內(nèi)拍攝。注意，每個(gè)面部捕捉設(shè)備都具有面部的局部視圖，并且無(wú)法獲得面部的完整視圖。

　　由于頭顯本身遮擋了佩戴者的大部分面部，因此不可能使用捕獲設(shè)備獲得面部的完整視圖。由于頭顯和佩戴者面部之間的空間很小，因此無(wú)法從頭顯內(nèi)的視角觀察佩戴者的整個(gè)面部，因此有必要進(jìn)行預(yù)測(cè)判斷�？捎糜谶M(jìn)行預(yù)測(cè)的觀測(cè)數(shù)據(jù)源包括來(lái)自面部捕捉設(shè)備的經(jīng)驗(yàn)觀測(cè)傳感器數(shù)據(jù)。

　　可以發(fā)現(xiàn)，使用三個(gè)具有面向面部的捕捉設(shè)備可以獲得特別好的結(jié)果。這是因?yàn)檠劬�和口腔區(qū)域?qū)τ陬A(yù)測(cè)頭顯用戶的表情非常重要。

　　圖3是用于計(jì)算用戶面部圖像的裝置300的示意圖。在某些情況下，圖3的裝置與頭顯集成。在其它情況下，所述裝置遠(yuǎn)離HMD，例如在伴隨計(jì)算設(shè)備中或在云服務(wù)部署中。伴隨計(jì)算設(shè)備是物理上接近頭顯并且與頭顯有線或無(wú)線通信的計(jì)算設(shè)備。伴隨計(jì)算設(shè)備的例子有智能手機(jī)、智能手表和筆記本電腦等

　　所述用戶面部圖像計(jì)算裝置包括至少一個(gè)處理器302、存儲(chǔ)器304和顯示控制器306，后者控制頭顯對(duì)一個(gè)或多個(gè)虛擬對(duì)象的顯示。所述裝置進(jìn)一步包括表情系統(tǒng)308，表情系統(tǒng)308將由至少一個(gè)面部捕捉設(shè)備捕捉的傳感器數(shù)據(jù)作為輸入，并計(jì)算表情參數(shù)的輸出值。所述表情系統(tǒng)包括機(jī)器學(xué)習(xí)模型，機(jī)器學(xué)習(xí)模型經(jīng)訓(xùn)練以從輸入圖像計(jì)算表情參數(shù)。照片校準(zhǔn)器310是經(jīng)訓(xùn)練以將從3D面部模型渲染的圖像映射到照片級(jí)真實(shí)感圖像的機(jī)器學(xué)習(xí)模型。

　　所述裝置包括具有參數(shù)的三維面部模型312。在一個(gè)實(shí)施例中，3D面部模型312具有標(biāo)識(shí)、表情和姿勢(shì)參數(shù)。標(biāo)識(shí)參數(shù)指定三維人臉模型的實(shí)例化所代表的個(gè)人。表情參數(shù)指定三維人臉模型的形狀和外觀。姿勢(shì)參數(shù)指定三維人臉模型的可移動(dòng)組件的位置和方向，如頜骨、頸部骨骼、眼球、舌頭。姿勢(shì)參數(shù)的值是使用來(lái)自一個(gè)或多個(gè)捕獲設(shè)備的數(shù)據(jù)推斷出來(lái)。

　　在某些情況下，眼睛姿勢(shì)和下巴姿勢(shì)是使用眼睛和臂架攝像頭的輸出確定�？梢允褂脙H包含表情參數(shù)的三維人臉模型，例如在預(yù)配置姿勢(shì)和標(biāo)識(shí)參數(shù)的位置，或者在不需要移動(dòng)下巴和眼睛的位置。所述裝置同時(shí)包括渲染器314，其用于渲染來(lái)自3D面部模型312的圖像。渲染器是用于渲染來(lái)自3D模型的圖像的任何設(shè)備，例如商用計(jì)算機(jī)圖形渲染器，其使用光線追蹤和關(guān)于虛擬camera的視點(diǎn)的信息來(lái)渲染圖像。

　　諸如圖3的表情系統(tǒng)400包括機(jī)器學(xué)習(xí)模型402和優(yōu)化器404。經(jīng)過(guò)訓(xùn)練的機(jī)器學(xué)習(xí)模型是神經(jīng)網(wǎng)絡(luò)，或任何其他合適類型的機(jī)器學(xué)習(xí)模型。在一個(gè)示例中，表情系統(tǒng)400的機(jī)器學(xué)習(xí)模型402已經(jīng)使用了描述頭顯用戶面部局部視圖的合成圖像進(jìn)行訓(xùn)練，合成圖像與已知表情參數(shù)相關(guān)。

　　在一個(gè)示例中，通過(guò)從參數(shù)化面部模型采樣、將表情應(yīng)用于采樣的參數(shù)化面部模型、添加虛擬頭顯和虛擬照明、從虛擬頭顯中的一個(gè)或多個(gè)面部捕捉設(shè)備的視點(diǎn)渲染來(lái)生成合成圖像。

　　在一個(gè)示例中，參數(shù)化面部模型是由多個(gè)單獨(dú)模型形成的復(fù)合模型。各個(gè)模型包括一個(gè)或多個(gè)：幾何模型、紋理模型、頭發(fā)模型和眼睛顏色模型。幾何模型基于線性身份和表達(dá)基礎(chǔ)，采用線性混合蒙皮控制眼睛、下巴和頭部運(yùn)動(dòng)。為了從幾何模型中采樣，可以使用高斯混合模型。

　　紋理模型由反照率紋理和置換紋理組成。反照率紋理表示膚色，而置換表示褶皺和孔隙水平置換。頭發(fā)模型由定義頭發(fā)、眉毛和胡須的各個(gè)發(fā)束的曲線組成。眼睛顏色模型是基于示例的眼睛顏色采樣器。

　　可以對(duì)上述各個(gè)模型進(jìn)行單獨(dú)采樣，以獲得可渲染的完整人臉標(biāo)識(shí)。

　　面部設(shè)置完成后，將頭顯模型以遮擋感知的方式放置在合成頭部。放置基于平均頭部形狀的手動(dòng)放置，如果設(shè)備與頭部相交，則調(diào)整平均頭部形狀。

　　為了模擬面向嘴巴的攝像頭的照明和背景對(duì)象，高動(dòng)態(tài)范圍圖像(HDRI)可用作場(chǎng)景的照明和背景。從庫(kù)中為每個(gè)場(chǎng)景采樣不同的HDRI，并可以選擇每n幀旋轉(zhuǎn)一次HDRI，以模擬頭部旋轉(zhuǎn)和背景運(yùn)動(dòng)。要對(duì)人臉捕捉設(shè)備進(jìn)行建模，需要使用焦距、景深和分辨率來(lái)匹配頭顯真實(shí)人臉捕捉設(shè)備的屬性。

　　表情系統(tǒng)的機(jī)器學(xué)習(xí)模型402使用帶損失函數(shù)的監(jiān)督訓(xùn)練進(jìn)行訓(xùn)練，所述損失函數(shù)是訓(xùn)練示例的預(yù)測(cè)表情參數(shù)值和已知表情參數(shù)值之間差異的度量。在一個(gè)例子中，機(jī)器學(xué)習(xí)模型是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，并使用反向傳播進(jìn)行訓(xùn)練。

　　在各種示例中，表情系統(tǒng)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)使得可以從大量不同的用戶群體中以一般方式進(jìn)行訓(xùn)練，然后適應(yīng)具有最少數(shù)據(jù)的個(gè)人。

　　照片校準(zhǔn)器412是一種機(jī)器學(xué)習(xí)模型，它將渲染圖像410映射到照片級(jí)真實(shí)感圖像414�？梢允褂贸蓪�(duì)的數(shù)據(jù)對(duì)光校準(zhǔn)器的機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練，每對(duì)數(shù)據(jù)包括從攝像頭捕獲的照片，并描繪具有表情的真實(shí)人員的正面視圖，以及配置與表情對(duì)應(yīng)的參數(shù)值時(shí)從3D人臉模型渲染的圖像。

　　圖5是具有中性姿勢(shì)和中性表情的普通人的模板網(wǎng)格500，其中顯示模板網(wǎng)格覆蓋有光滑表面。首先基于個(gè)體的身份對(duì)模板網(wǎng)格500進(jìn)行變形，以創(chuàng)建圖5的502中所示的結(jié)果，結(jié)果是具有中性表情的特定個(gè)體的面部的三維模型。使用基于表情參數(shù)值的第二變形來(lái)變形圖5的502中的結(jié)果，以給出圖5的504中所示的結(jié)果，結(jié)果表示與502中相同的個(gè)體，但具有微笑和閉著眼睛的表情。當(dāng)姿態(tài)參數(shù)的值添加時(shí)，結(jié)果顯示在圖5的506中，其中頭部向后傾斜，頭部向右轉(zhuǎn)動(dòng)，下巴打開(kāi)。姿勢(shì)參數(shù)設(shè)置眼睛以及頸部和下巴骨骼的姿勢(shì)。

　　普通人的模板網(wǎng)格500旨在作為所有人臉的平均值，并有助于將專利所述技術(shù)泛化到不同的個(gè)人。

　　圖6是用于計(jì)算頭顯用戶面部圖像的設(shè)備的操作方法的流程圖。簡(jiǎn)單來(lái)說(shuō)，首先從至少一個(gè)面向面部的捕獲設(shè)備接收捕獲的輸入圖像，然后再交由機(jī)器學(xué)習(xí)裝置來(lái)計(jì)算補(bǔ)充被輸入圖像中被頭顯遮擋的部分，從而呈現(xiàn)完整的人臉圖像。

　　名為“Computing images of head mounted display wearer”的微軟專利申請(qǐng)最初在2020年6月提交，并在日前由美國(guó)專利商標(biāo)局公布。