HiFi4G渲染技術(shù)實現(xiàn)照片級真實人體建模和高效渲染

　　近日，上�？萍即髮W(xué)、NeuDim、字節(jié)跳動和DGene的研究團(tuán)隊共同發(fā)布了一篇名為《HiFi4G:人體建模和高效渲染的突破性進(jìn)展》的AI論文。該論文介紹了HiFi4G，這是一種全新的、全顯式且緊湊的高斯方法，用于從密集視頻中重新創(chuàng)建高保真的4D人體表演。

　　這項研究的主要亮點在于，HiFi4G通過將非剛性跟蹤與3D高斯表達(dá)相結(jié)合，成功分離了運動和外觀數(shù)據(jù)，從而實現(xiàn)了緊湊且壓縮友好的表達(dá)。相較于當(dāng)前的隱式渲染技術(shù)，HiFi4G在優(yōu)化速度、渲染質(zhì)量和存儲開銷方面取得了明顯的改進(jìn)。

　　具體而言，研究團(tuán)隊首先提出了一種雙圖方法，包括細(xì)粒度高斯和粗略變形圖，以自然地將高斯表示與非剛性跟蹤連接起來。通過使用NeuS2創(chuàng)建每幀幾何代理，并以關(guān)鍵幀的方式使用嵌入式變形(ED)，這一顯式跟蹤技術(shù)將序列劃分為部分，為每個部分內(nèi)的運動提供了豐富的歷史信息。

　　接下來，研究團(tuán)隊為進(jìn)一步初始化構(gòu)建了一個細(xì)粒度高斯圖，通過從粗略ED網(wǎng)絡(luò)中插值每個高斯運動。為了平衡高斯特征和非剛性運動先驗的更新，研究團(tuán)隊提出了一種4D高斯優(yōu)化方法。他們使用時間正則化器確保每個高斯的外觀屬性的一致性，如不透明度、縮放系數(shù)和球諧(SH)。對于運動特征(位置和旋轉(zhuǎn))，研究團(tuán)隊建議使用平滑項，以在相鄰高斯之間生成局部盡可能剛性的運動。

　　為了應(yīng)對在表現(xiàn)小而非剛性運動的區(qū)域出現(xiàn)的顫動現(xiàn)象，研究團(tuán)隊為這些正則化器添加了自適應(yīng)加權(quán)機(jī)制。經(jīng)過優(yōu)化，研究團(tuán)隊生成了時空緊湊的4D高斯。為了使HiFi4G對用戶更加實用，研究團(tuán)隊提出了一種伴隨的壓縮技術(shù)，采用傳統(tǒng)的殘差校正、量化和熵編碼，以適應(yīng)各種平臺上的低存儲沉浸式人體表演體驗。

　　HiFi4G作為一種用于高保真人體表現(xiàn)渲染的方法，具有以下特色功能:

　　緊湊的高斯噴濺表示法: HiFi4G采用3D高斯表達(dá)與非剛性跟蹤相結(jié)合，實現(xiàn)了緊湊且壓縮友好的表示。這種方法通過采用雙圖機(jī)制，包括粗糙變形圖和細(xì)粒度高斯圖，來獲得運動的先驗知識。

　　雙圖機(jī)制: 引入了雙圖機(jī)制，其中包括一個用于有效初始化的粗糙變形圖和一個用于強(qiáng)制約束的細(xì)粒度高斯圖，以實現(xiàn)對非剛性運動的建模。

　　4D高斯優(yōu)化方案: 采用了4D高斯優(yōu)化方案，其中包括自適應(yīng)的時空正則化器，以有效平衡非剛性先驗和高斯更新，實現(xiàn)高質(zhì)量的人體表現(xiàn)渲染。

　　伴隨的壓縮方案: 提出了一個伴隨的壓縮方案，包括殘差補(bǔ)償，可在各種平臺上實現(xiàn)沉浸式體驗。該方案實現(xiàn)了約25倍的壓縮率，每幀不到2MB的存儲開銷。

　　關(guān)鍵幀非剛性跟蹤: 通過基于關(guān)鍵幀的非剛性跟蹤，建立了一個粗糙變形圖，并跟蹤了高斯優(yōu)化的運動，為后續(xù)渲染提供支持。

　　實時高保真渲染: HiFi4G能夠在實時性要求下，對具有挑戰(zhàn)性動作的人體表現(xiàn)進(jìn)行高保真渲染，例如演奏樂器、跳舞和更衣等。

　　渲染結(jié)果:HiFi4G 可實時高保真地渲染人類在演奏樂器、跳舞和換衣服等具有挑戰(zhàn)性的動作中的表現(xiàn)。

　　在應(yīng)用場景上，HiFi4G可以用于電影、電視劇和游戲制作，實現(xiàn)更逼真、高保真的人物表現(xiàn)渲染。特別是在需要展現(xiàn)復(fù)雜人體動作，如演奏樂器、跳舞和更衣等情境下，可以提供更真實的畫面效果。另外，由于HiFi4G能夠?qū)崿F(xiàn)實時高保真渲染，它在虛擬現(xiàn)實和增強(qiáng)現(xiàn)實應(yīng)用中也具備廣泛的應(yīng)用前景。用戶在虛擬環(huán)境中進(jìn)行各種活動時，可以獲得更具沉浸感的體驗。