下單前先比價(jià)不花冤枉錢(qián) 同款圖書(shū)京東價(jià)低于抖音6折日媒感慨中國(guó)電動(dòng)汽車(chē)/智駕遙遙領(lǐng)先:本田、日產(chǎn)、三菱合并也沒(méi)戲消委會(huì)吹風(fēng)機(jī)品質(zhì)檢測(cè)結(jié)果揭曉 徠芬獨(dú)占鰲頭 共話新質(zhì)營(yíng)銷力,2024梅花數(shù)據(jù)峰會(huì)圓滿落幕索尼影像專業(yè)服務(wù) PRO Support 升級(jí),成為會(huì)員至少需注冊(cè) 2 臺(tái) α 全畫(huà)幅相機(jī)、3 支 G 大師鏡頭消息稱vivo加碼電池軍備競(jìng)賽:6500mAh 旗艦機(jī)+7500mAh中端機(jī)寶馬M8雙門(mén)轎跑車(chē)明年年初將停產(chǎn),后續(xù)無(wú)2026款車(chē)型比亞迪:2025 款漢家族車(chē)型城市領(lǐng)航智駕功能開(kāi)啟內(nèi)測(cè)雷神預(yù)告2025年首次出席CES 將發(fā)布三款不同技術(shù)原理智能眼鏡realme真我全球首發(fā)聯(lián)發(fā)科天璣 8400 耐玩戰(zhàn)神共創(chuàng)計(jì)劃iQOO Z9 Turbo長(zhǎng)續(xù)航版手機(jī)被曝電池加大到6400mAh,搭驍龍 8s Gen 3處理器普及放緩 銷量大跌:曝保時(shí)捷將重新評(píng)估電動(dòng)汽車(chē)計(jì)劃來(lái)京東參與榮耀Magic7 RSR 保時(shí)捷設(shè)計(jì)預(yù)售 享365天只換不修國(guó)補(bǔ)期間電視迎來(lái)?yè)Q機(jī)潮,最暢銷MiniLED品牌花落誰(shuí)家?美團(tuán)旗下微信社群團(tuán)購(gòu)業(yè)務(wù)“團(tuán)買(mǎi)買(mǎi)”宣布年底停運(yùn)消息稱微軟正與第三方廠商洽談,試圖合作推出Xbox游戲掌機(jī)設(shè)備在海外,要再造一個(gè)京東物流?消息稱蘋(píng)果正為AirPods開(kāi)發(fā)多項(xiàng)健康功能,包括心率監(jiān)測(cè)和溫度感應(yīng)一加 Ace 5系列將搭載全新游戲助手:大幅提升游戲體驗(yàn)東芝全部業(yè)務(wù)實(shí)現(xiàn)盈利,退市裁員重組后終于賺錢(qián)
  • 首頁(yè) > 企業(yè)IT頻道 > 軟件即服務(wù)

    笑得很好下次別笑了 一鍵變笑臉的GAN技術(shù)入選AAAI2023

    2023年02月14日 17:34:48   來(lái)源:中文科技資訊

      表情編輯技術(shù)在特效和修圖場(chǎng)景有著廣泛的應(yīng)用。此前,剪映、醒圖等app上的一鍵變笑臉模板一經(jīng)上線就立刻成為出圈爆款;在抖音上,這一特效還引發(fā)了熱烈的話題討論,「笑得很好下次別笑了」一度登頂抖音話題熱榜。

      近日, 在AI領(lǐng)域的頂級(jí)會(huì)議AAAI2023上,來(lái)自字節(jié)跳動(dòng)智能創(chuàng)作團(tuán)隊(duì)的3篇關(guān)于表情編輯GAN技術(shù)的論文入選,揭示了上述爆款特效背后的技術(shù)實(shí)現(xiàn)方法。據(jù)了解,AAAI2023共收到了 8,777 有效投稿,最終接受了 1,721 篇論文,總體接受率19.6% 。

    圖片1.png

      ReGANIE: Rectifying GAN Inversion Errors for Accurate Real Image Editing(https://arxiv.org/abs/2301.13402)

      Semantic 3D-aware Portrait Synthesis and Manipulation Based on Compositional Neural Radiance Field(https://arxiv.org/abs/2302.01579)

      CFFT-GAN: Cross-domain Feature Fusion Transformer for Exemplar-based Image Translation

      (https://arxiv.org/abs/2302.01608)

      “一鍵變笑臉”背后的技術(shù)方案:

      第一階段,團(tuán)隊(duì)利用預(yù)訓(xùn)練的3D人臉重建模型,提取3DMM表情系數(shù)并注入到StyleGAN的w空間。同時(shí),渲染出3D shape用作約束條件,訓(xùn)練特定人臉表情的生成。第一階段訓(xùn)練完成就可以生產(chǎn)大量的配對(duì)數(shù)據(jù),訓(xùn)練服務(wù)端或移動(dòng)端的pix2pix模型,從而實(shí)現(xiàn)特定表情的編輯。

    圖片4.png

      StyleGAN作為應(yīng)用最廣泛的無(wú)條件 GAN 之一,能夠?qū)崿F(xiàn)高保真圖像的生成,同時(shí)也便于在其隱空間內(nèi)進(jìn)行語(yǔ)義編輯。團(tuán)隊(duì)借助StyleGAN自研了人像屬性編輯框架,可以輕易地實(shí)現(xiàn)如人像表情等屬性的編輯效果。詳細(xì)技術(shù)方案見(jiàn):https://arxiv.org/abs/2109.10737

    圖片5.png

      然而,基于StyleGAN生成的人臉(假圖)和真實(shí)人臉圖像還是有一定的差異,這體現(xiàn)在用假圖訓(xùn)練好的pix2pix模型直接應(yīng)用于自拍特效或者修圖場(chǎng)景會(huì)不可避免的產(chǎn)生一些bad case,因此需要借助StyleGAN反演能力,生產(chǎn)真實(shí)人臉的配對(duì)數(shù)據(jù)用于模型訓(xùn)練。

    圖片6.png

      過(guò)去,基于StyleGAN的重建和編輯存在trade-off問(wèn)題,即提升真實(shí)圖像的重建效果會(huì)影響屬性的編輯效果。先前的方法針對(duì)性地優(yōu)化了StyleGAN的重建和編輯任務(wù),但沒(méi)能從原理上解決上述問(wèn)題。團(tuán)隊(duì)提出了ReGANIE,通過(guò)二階段修復(fù)重建的誤差的方法,在不影響StyleGAN本身編輯能力的同時(shí),大幅地提升了圖像重建的效果,從根本上解決了這個(gè)trade-off問(wèn)題。

      因此,團(tuán)隊(duì)利用ReGANIE和StyleGAN編輯模型可以生產(chǎn)真實(shí)人像的表情配對(duì)數(shù)據(jù),還實(shí)驗(yàn)了如卡通肖像,動(dòng)物肖像等場(chǎng)景擴(kuò)展。

    圖片7.png

      另外,團(tuán)隊(duì)探索了將神經(jīng)輻射場(chǎng)(Nerf)技術(shù)和StyleGAN技術(shù)進(jìn)行結(jié)合,結(jié)合人像分割能力提出了3D一致性的肖像合成與編輯技術(shù)Semantic3D,實(shí)現(xiàn)了肖像數(shù)據(jù)的姿態(tài)和局部可控性。

      它借由視角v的輸入可以靈活生成不同姿態(tài)的肖像圖,從而可以擴(kuò)充訓(xùn)練數(shù)據(jù)的姿態(tài)多樣性。同時(shí),基于組合式生成的思想,讓StyleGAN的隱空間操縱聚焦于期待編輯的屬性,如只編輯面部區(qū)域表情而不改變頭發(fā)或背景。

    圖片8.png

      據(jù)團(tuán)隊(duì)介紹,未來(lái),基于GAN等生成技術(shù)對(duì)人像表情進(jìn)行編輯將主要應(yīng)用于短視頻特效、修圖拍攝和內(nèi)容生成等應(yīng)用場(chǎng)景。目前,相關(guān)功能可在抖音,剪影,醒圖等APP體驗(yàn),企業(yè)用戶可登陸火山引擎官網(wǎng)(https://www.volcengine.com/product/emotion-edit)使用表情編輯服務(wù)。

      智能創(chuàng)作團(tuán)隊(duì)是字節(jié)跳動(dòng)AI&多媒體技術(shù)中臺(tái),通過(guò)建設(shè)領(lǐng)先的計(jì)算機(jī)視覺(jué)、音視頻編輯、特效處理等技術(shù),支持抖音、剪映、頭條等公司內(nèi)眾多產(chǎn)品線;同時(shí)通過(guò)火山引擎為外部ToB合作伙伴提供業(yè)界前沿的智能創(chuàng)作能力與行業(yè)解決方案。(作者:黃峰)

      

    [No. X048]
    分享到微信

    即時(shí)

    新聞

    明火炊具市場(chǎng):三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。