笑得很好下次別笑了 一鍵變笑臉的GAN技術(shù)入選AAAI2023

　　表情編輯技術(shù)在特效和修圖場景有著廣泛的應(yīng)用。此前，剪映、醒圖等app上的一鍵變笑臉模板一經(jīng)上線就立刻成為出圈爆款;在抖音上，這一特效還引發(fā)了熱烈的話題討論，「笑得很好下次別笑了」一度登頂抖音話題熱榜。

　　近日， 在AI領(lǐng)域的頂級會(huì)議AAAI2023上，來自字節(jié)跳動(dòng)智能創(chuàng)作團(tuán)隊(duì)的3篇關(guān)于表情編輯GAN技術(shù)的論文入選，揭示了上述爆款特效背后的技術(shù)實(shí)現(xiàn)方法。據(jù)了解，AAAI2023共收到了 8,777 有效投稿，最終接受了 1,721 篇論文，總體接受率19.6% 。

　　ReGANIE: Rectifying GAN Inversion Errors for Accurate Real Image Editing（https://arxiv.org/abs/2301.13402）

　　Semantic 3D-aware Portrait Synthesis and Manipulation Based on Compositional Neural Radiance Field（https://arxiv.org/abs/2302.01579）

　　CFFT-GAN: Cross-domain Feature Fusion Transformer for Exemplar-based Image Translation

　　（https://arxiv.org/abs/2302.01608）

　　“一鍵變笑臉”背后的技術(shù)方案：

　　第一階段，團(tuán)隊(duì)利用預(yù)訓(xùn)練的3D人臉重建模型，提取3DMM表情系數(shù)并注入到StyleGAN的w空間。同時(shí)，渲染出3D shape用作約束條件，訓(xùn)練特定人臉表情的生成。第一階段訓(xùn)練完成就可以生產(chǎn)大量的配對數(shù)據(jù)，訓(xùn)練服務(wù)端或移動(dòng)端的pix2pix模型，從而實(shí)現(xiàn)特定表情的編輯。

　　StyleGAN作為應(yīng)用最廣泛的無條件 GAN 之一，能夠?qū)崿F(xiàn)高保真圖像的生成，同時(shí)也便于在其隱空間內(nèi)進(jìn)行語義編輯。團(tuán)隊(duì)借助StyleGAN自研了人像屬性編輯框架，可以輕易地實(shí)現(xiàn)如人像表情等屬性的編輯效果。詳細(xì)技術(shù)方案見：https://arxiv.org/abs/2109.10737

　　然而，基于StyleGAN生成的人臉(假圖)和真實(shí)人臉圖像還是有一定的差異，這體現(xiàn)在用假圖訓(xùn)練好的pix2pix模型直接應(yīng)用于自拍特效或者修圖場景會(huì)不可避免的產(chǎn)生一些bad case，因此需要借助StyleGAN反演能力，生產(chǎn)真實(shí)人臉的配對數(shù)據(jù)用于模型訓(xùn)練。

　　過去，基于StyleGAN的重建和編輯存在trade-off問題，即提升真實(shí)圖像的重建效果會(huì)影響屬性的編輯效果。先前的方法針對性地優(yōu)化了StyleGAN的重建和編輯任務(wù)，但沒能從原理上解決上述問題。團(tuán)隊(duì)提出了ReGANIE，通過二階段修復(fù)重建的誤差的方法，在不影響StyleGAN本身編輯能力的同時(shí)，大幅地提升了圖像重建的效果，從根本上解決了這個(gè)trade-off問題。

　　因此，團(tuán)隊(duì)利用ReGANIE和StyleGAN編輯模型可以生產(chǎn)真實(shí)人像的表情配對數(shù)據(jù)，還實(shí)驗(yàn)了如卡通肖像，動(dòng)物肖像等場景擴(kuò)展。

　　另外，團(tuán)隊(duì)探索了將神經(jīng)輻射場(Nerf)技術(shù)和StyleGAN技術(shù)進(jìn)行結(jié)合，結(jié)合人像分割能力提出了3D一致性的肖像合成與編輯技術(shù)Semantic3D，實(shí)現(xiàn)了肖像數(shù)據(jù)的姿態(tài)和局部可控性。

　　它借由視角v的輸入可以靈活生成不同姿態(tài)的肖像圖，從而可以擴(kuò)充訓(xùn)練數(shù)據(jù)的姿態(tài)多樣性。同時(shí)，基于組合式生成的思想，讓StyleGAN的隱空間操縱聚焦于期待編輯的屬性，如只編輯面部區(qū)域表情而不改變頭發(fā)或背景。

　　據(jù)團(tuán)隊(duì)介紹，未來，基于GAN等生成技術(shù)對人像表情進(jìn)行編輯將主要應(yīng)用于短視頻特效、修圖拍攝和內(nèi)容生成等應(yīng)用場景。目前，相關(guān)功能可在抖音，剪影，醒圖等APP體驗(yàn)，企業(yè)用戶可登陸火山引擎官網(wǎng)(https://www.volcengine.com/product/emotion-edit)使用表情編輯服務(wù)。

　　智能創(chuàng)作團(tuán)隊(duì)是字節(jié)跳動(dòng)AI&多媒體技術(shù)中臺(tái)，通過建設(shè)領(lǐng)先的計(jì)算機(jī)視覺、音視頻編輯、特效處理等技術(shù)，支持抖音、剪映、頭條等公司內(nèi)眾多產(chǎn)品線;同時(shí)通過火山引擎為外部ToB合作伙伴提供業(yè)界前沿的智能創(chuàng)作能力與行業(yè)解決方案。(作者：黃峰)