逼真實(shí)時(shí)“數(shù)字人”是如何生產(chǎn)出來(lái)的？

　　數(shù)字技術(shù)是信息時(shí)代的引擎，當(dāng)前AR、VR以及3D技術(shù)重新引發(fā)人們關(guān)注，必將在可視化、高精度化為信息世界帶來(lái)重塑。

　　比如我們近年來(lái)看到的一些新的國(guó)漫電影已經(jīng)不能視為卡通片，其人物、場(chǎng)景的光影渲染和逼真效果足以比真人出鏡的電影更為震撼，叫好又叫座;其幕后的數(shù)字技術(shù)開(kāi)發(fā)團(tuán)隊(duì)依靠劇本和故事脈絡(luò)制作DEMO從而尋找到意向投資人，不僅減少了資方的風(fēng)險(xiǎn)，也讓觀眾能看到更多新銳、新穎的作品。

　　實(shí)際上除電影以外，還有一些虛擬形象IP、廣告片、樓宇橋梁建筑設(shè)計(jì)、工廠規(guī)劃圖、室內(nèi)裝飾全景、汽車(chē)(全景)預(yù)定等等都需要用到3D以及AR視覺(jué)化設(shè)計(jì)的數(shù)字技術(shù)，以呈現(xiàn)出預(yù)期逼真的藍(lán)圖效果或制造出用戶線上互動(dòng)的交互界面。

　　很多人不知道的是，這種數(shù)字技術(shù)和工具最早是在游戲開(kāi)發(fā)中應(yīng)用成熟之后，逐漸“外溢”到其他行業(yè)和應(yīng)用場(chǎng)景的，并且底層開(kāi)發(fā)工作和操作系統(tǒng)就是虛幻引擎(Unreal Engine，以下簡(jiǎn)稱(chēng)“UE”)，這家公司可以說(shuō)是網(wǎng)絡(luò)游戲和視覺(jué)設(shè)計(jì)領(lǐng)域的安卓或者蘋(píng)果，外界一直難窺其貌。

　　我們更近一步追問(wèn)，UE是否可以在數(shù)字世界之中用類(lèi)似的技術(shù)手段來(lái)模擬人而非是卡通式的動(dòng)畫(huà)，類(lèi)似于《三體》VR游戲之中用歷史名人來(lái)親歷三體環(huán)境一樣。答案是肯定的，相關(guān)技術(shù)條件以及工具完全具備，因?yàn)樵诖罅坑螒蚝碗娪皥?chǎng)景之中人物的逼真度都要求相應(yīng)的開(kāi)發(fā)工具必須使得人物的面孔、眼睛、皮膚、頭發(fā)以及走動(dòng)光影變化等足夠的細(xì)膩逼真。

　　所謂“逼真、實(shí)時(shí)數(shù)字人”并非是虛擬創(chuàng)作的IP或者二次元形象，實(shí)際上是真人，逼真、實(shí)時(shí)的“數(shù)字人”，阿星理解是真實(shí)的人三維化，類(lèi)似于是數(shù)字化的“杜莎夫人館”，并且是能夠適應(yīng)于普通人的，因此其技術(shù)突破和迭代可能對(duì)于AR、VR等普及化、大眾化意義重大。

　　逼真、實(shí)時(shí)數(shù)字人究竟是如何生產(chǎn)出來(lái)的，又將應(yīng)用在哪些場(chǎng)景之中，當(dāng)前的發(fā)展瓶頸在哪里?筆者有幸請(qǐng)教中國(guó)人民大學(xué)產(chǎn)業(yè)研究院助理院長(zhǎng)、文化科技融合中心主任宋震，以及北京理工大學(xué)光電學(xué)院光電信息技術(shù)與顏色工程研究所研究員翁冬冬，他們是高校相關(guān)專(zhuān)業(yè)研究的權(quán)威，在“數(shù)字人”呈現(xiàn)和探索處于前沿。

　　一、用游戲開(kāi)發(fā)全套工具和系統(tǒng)來(lái)做“逼真、實(shí)時(shí)數(shù)字人”

　　先來(lái)介紹下，虛幻引擎是游戲公司 Epic Games所開(kāi)發(fā)的操作系統(tǒng)，能夠?yàn)橛螒蜷_(kāi)發(fā)者提供大量游戲開(kāi)發(fā)之中所需要的核心技術(shù)、數(shù)據(jù)生成工具以及基礎(chǔ)支持，也就是說(shuō)，UE使得游戲開(kāi)發(fā)者不需要從0開(kāi)始寫(xiě)代碼做每一幀的畫(huà)面或者設(shè)計(jì)相應(yīng)場(chǎng)景，讓游戲開(kāi)發(fā)者更加聚焦于故事和難度設(shè)置上，回歸到游戲本身，讓開(kāi)發(fā)變得更加輕松。

　　在數(shù)字世界之中，這就需要UE本身不斷迭代技術(shù)和工具包，以滿足線上數(shù)字世界游戲化、交互化以及游戲世界逼真化、動(dòng)態(tài)化的需求，用越來(lái)越特效、逼真的圖像處理來(lái)對(duì)畫(huà)面進(jìn)行更為真實(shí)、更為細(xì)致的全面刻畫(huà)。

　　截止2021年虛幻引擎已經(jīng)更新到UE5，主要基于Nanite(虛擬微多邊形幾何體)和Lumen(動(dòng)態(tài)全局光照)的核心技術(shù)以及支持上億、幾十億甚至無(wú)上限的三角面的渲染，不僅為游戲開(kāi)發(fā)和設(shè)計(jì)師創(chuàng)意提供了廣闊的舞臺(tái)，還能夠廣泛應(yīng)用在人、物、故事以及各種內(nèi)容之中。

　　在游戲世界之中，最難表現(xiàn)的依然是人，因?yàn)槿绻�是真�?shí)、逼真的人的話，他的面孔或表情是隨著年齡、心情、狀態(tài)而發(fā)生變化的，在不同場(chǎng)景之中，人們的眼神、光線以及腳步、身形等都是很難用虛擬想象進(jìn)行刻畫(huà)。正如現(xiàn)實(shí)生活刻畫(huà)精彩有時(shí)勝過(guò)于小說(shuō)，而真實(shí)記錄數(shù)字人工作量實(shí)際上也遠(yuǎn)遠(yuǎn)高于虛擬創(chuàng)作人物。比如12月份網(wǎng)易云在港上市就有兩個(gè)數(shù)字人“丁磊”在線上敲鐘，有網(wǎng)友認(rèn)為是丁磊的美顏版，實(shí)際上這與真正的“數(shù)字人”還有差距，尤其是在面部表情上，觀眾還是能夠一眼看出來(lái)“不夠逼真”。

　　人們判斷一個(gè)數(shù)字人逼真不逼真、鮮活不鮮活最重要的關(guān)注點(diǎn)是在表情上。宋震說(shuō)：“人對(duì)于表情差異是非常敏感的，人的臉上有70多塊肌肉，能夠產(chǎn)生很多復(fù)雜和微妙的變化，面孔以及表情數(shù)字化是數(shù)字人的重點(diǎn)和難點(diǎn)。”

　　制造逼真實(shí)時(shí)數(shù)字人，首先需要對(duì)模特或者原型人物進(jìn)行“照相”采集工作，主要是基于測(cè)量攝影的孿生數(shù)字人方案，通過(guò)球形梯隊(duì)照明采集模特在不同光影明暗之下的微表情變化，通過(guò)對(duì)素材(照片為RAW文件)進(jìn)行校色、摳像并對(duì)面部數(shù)據(jù)處理和渲染等處理之后進(jìn)行綁定在系統(tǒng)之中，據(jù)了解，一個(gè)逼真實(shí)時(shí)數(shù)字人可能有200個(gè)G原始素材。

　　據(jù)宋震老師介紹，逼真實(shí)時(shí)數(shù)字人創(chuàng)造流程主要分為“光影采集”、“數(shù)據(jù)清理”、“重拓?fù)?rdquo;、“貼圖處理”、“綁定”、“毛發(fā)制定”、“導(dǎo)入U(xiǎn)E”、“光照和氛圍”、“動(dòng)態(tài)測(cè)試"等九個(gè)步驟，這些步驟組合起來(lái)都需要UE的深度參與。

　　要讓專(zhuān)業(yè)制造高精度實(shí)時(shí)數(shù)字人能夠保持表情實(shí)時(shí)變化以及相應(yīng)的摳像處理、光影變化、聲音匹配等都需要用到Metahuman工具。宋震老師說(shuō)：“虛幻引擎在2021年上半年推出了Metahuman工具，很快就在3D數(shù)字人領(lǐng)域樹(shù)立了行業(yè)標(biāo)桿和標(biāo)準(zhǔn)。”

　　由于Metahuman不只有強(qiáng)大的創(chuàng)意工具比如數(shù)字人材質(zhì)系統(tǒng)、動(dòng)畫(huà)系統(tǒng)等降低項(xiàng)目復(fù)雜度，還能夠借助于光學(xué)掃描設(shè)備，Metahuman的技術(shù)管線能夠極大的提高生產(chǎn)效率和表現(xiàn)效果，目前的數(shù)字人生產(chǎn)管線也能夠遷移到Metahuman上，實(shí)現(xiàn)了很好的兼容。

　　在數(shù)字人創(chuàng)建過(guò)程中，不只是用到一兩個(gè)DCC(數(shù)字內(nèi)容生成)工具，包含著很多復(fù)雜完整的生態(tài)之中。翁冬冬老師說(shuō)“虛幻(引擎)不只是實(shí)時(shí)可視化的工具，還是整個(gè)逼真實(shí)時(shí)數(shù)字人的平臺(tái)，甚至稱(chēng)之為操作系統(tǒng)也不過(guò)。因?yàn)樗�有�?shù)字人(資產(chǎn))生成、開(kāi)啟使用都得使用UE，虛幻引擎實(shí)際上是把各種各樣的工具匯聚在一起，而這是操作系統(tǒng)最有價(jià)值的。”

　　虛幻引擎在制作3D數(shù)字內(nèi)容生產(chǎn)之中提供的便利就好比一個(gè)廚師要為客戶制造美味可口的菜肴，不需要親自去購(gòu)買(mǎi)各種廚具或者去菜場(chǎng)買(mǎi)菜，很多案臺(tái)、鍋碗、調(diào)料都已經(jīng)準(zhǔn)備妥當(dāng)，更加便于廚師發(fā)揮自己的廚藝。

　　二、高精度逼真實(shí)時(shí)數(shù)字人已能夠生產(chǎn)，突破口是歷史名人數(shù)字化

　　逼真數(shù)字人作為3D呈現(xiàn)的“照片”和“影像”，隨著各種數(shù)字人生成技術(shù)的成熟，會(huì)逐漸成為現(xiàn)實(shí)并應(yīng)用到VR(虛擬現(xiàn)實(shí))和AR(增強(qiáng)現(xiàn)實(shí))的設(shè)備之中呈現(xiàn)。

　　宋震老師在演講之中強(qiáng)調(diào)，虛幻引擎的Metahuman與RTX(光線追蹤技術(shù))相結(jié)合渲染質(zhì)量會(huì)更加好，未來(lái)與AI技術(shù)深度結(jié)合，未來(lái)高精度的虛幻人將會(huì)很快出現(xiàn)，并且虛擬人的定制會(huì)在直播、演唱會(huì)等表演場(chǎng)景之中率先應(yīng)用。

　　除現(xiàn)實(shí)場(chǎng)景數(shù)字人出現(xiàn)以外，這樣的技術(shù)實(shí)際上還是能夠幫助人們?nèi)セ謴?fù)一些著名歷史人物，讓歷史IP走進(jìn)人們的現(xiàn)實(shí)世界之中，比如我們?cè)��?jīng)在歷史上看到的一些著名歷史人物的畫(huà)像，很多是后代畫(huà)家找神態(tài)類(lèi)似的人臨摹的，實(shí)際上逼真數(shù)字人技術(shù)有望和很多博物館以及相關(guān)機(jī)構(gòu)深度合作的。

　　翁冬冬老師說(shuō)：“團(tuán)隊(duì)希望能做出一套中華名人的標(biāo)準(zhǔn)數(shù)字資產(chǎn)，尤其從近代有照片的名人入手來(lái)推動(dòng)”。他在虛幻引擎技術(shù)開(kāi)放日上介紹了團(tuán)隊(duì)對(duì)梅蘭芳先生的數(shù)字人生產(chǎn)的樣本案例。

　　翁冬冬老師說(shuō)，“北京理工大學(xué)聯(lián)合中央戲劇學(xué)院負(fù)責(zé)通過(guò)高保真實(shí)時(shí)數(shù)字技術(shù)對(duì)梅蘭芳先生進(jìn)行復(fù)現(xiàn)，這將成為國(guó)內(nèi)第一套真正意義上的京劇數(shù)字人項(xiàng)目。”

　　據(jù)了解，翁老師團(tuán)隊(duì)對(duì)梅先生的影像資料、照片以及舞臺(tái)場(chǎng)景進(jìn)行大量的研究和還原工作，從工藝、動(dòng)作、服飾、文玩進(jìn)行研究，通雕刻構(gòu)建高精度實(shí)體模型，再采用UE數(shù)字雕刻方式對(duì)掃描數(shù)據(jù)進(jìn)行反復(fù)精修，基于引導(dǎo)線的構(gòu)建方式對(duì)發(fā)型等進(jìn)行高保真發(fā)束，以真實(shí)立體裁衣為基礎(chǔ)構(gòu)建高保真服飾等等，最終制作出梅蘭芳先生的3D數(shù)字人。

　　數(shù)字人將結(jié)合VR和AR，以三維的形式呈現(xiàn)在觀眾面前，假設(shè)用戶想看梅蘭芳先生的表演不是在電視屏幕或者是投影薄膜上進(jìn)行觀賞，而是面對(duì)面和“真人”進(jìn)行交流。

　　翁冬冬老師說(shuō)：“凡是需要有真人或者真實(shí)的場(chǎng)景出現(xiàn)，都可以應(yīng)用數(shù)字孿生技術(shù)進(jìn)行還原。站在商業(yè)化角度看來(lái)，實(shí)際上數(shù)字人本身也是一種生產(chǎn)工具，能以高逼真數(shù)字人為數(shù)字資產(chǎn)或者IP來(lái)創(chuàng)造影視劇或者拍視頻。而在有人的地方，用人來(lái)生產(chǎn)內(nèi)容的地方，數(shù)字人都可以派上用場(chǎng)。”

　　當(dāng)前在國(guó)內(nèi)，數(shù)字人產(chǎn)業(yè)鏈和研發(fā)，在北京、上海、深圳等大城市已經(jīng)落地和推進(jìn)。翁冬冬老師給出預(yù)測(cè)，“真實(shí)逼真數(shù)字人會(huì)成為未來(lái)三年后的發(fā)展方向。”

　　當(dāng)然，對(duì)于實(shí)時(shí)、逼真數(shù)字人本身相應(yīng)的知識(shí)產(chǎn)權(quán)和法律完善也是兩位老師研究課題，畢竟技術(shù)發(fā)展往往需要相應(yīng)的監(jiān)管隨時(shí)跟上腳步。

　　結(jié)語(yǔ)

　　從人類(lèi)歷史就是一部分人的再呈現(xiàn)角度來(lái)看，逼真實(shí)時(shí)數(shù)字人實(shí)現(xiàn)了人從二維化電子屏式呈現(xiàn)到三維式的實(shí)時(shí)呈現(xiàn)，這的確是一項(xiàng)了不起的技術(shù)發(fā)展;其生產(chǎn)借助于虛幻引擎(UE)開(kāi)發(fā)工具以及操作系統(tǒng)予以完成，未來(lái)還將逐漸輕便化、簡(jiǎn)捷化，在專(zhuān)業(yè)門(mén)檻上降低準(zhǔn)入門(mén)檻，讓更多人實(shí)時(shí)遠(yuǎn)程精準(zhǔn)呈現(xiàn)不再是難事，無(wú)論是影視創(chuàng)作還是商業(yè)化都有巨大的想象空間，有關(guān)數(shù)字人相應(yīng)的資產(chǎn)生成、保護(hù)、流轉(zhuǎn)、使用逐漸也會(huì)引人關(guān)注。面對(duì)這一技術(shù)創(chuàng)新，將會(huì)帶來(lái)商業(yè)世界的深遠(yuǎn)影響，現(xiàn)在依然處在積極探索早期階段。