近年來,生成具有指定身份的高保真人類視頻引起了廣泛關(guān)注。然而,現(xiàn)有技術(shù)在訓(xùn)練效率和身份保持之間往往難以取得平衡,要么需要繁瑣的逐案微調(diào),要么在視頻生成過程中通常會丟失身份細節(jié)。研究提出了一種名為 ID-Animator 的零樣本人類視頻生成方法,可以在無需進一步訓(xùn)練的情況下執(zhí)行個性化視頻生成,只需單個參考面部圖像即可。
ID-Animator是一種零樣本個性化視頻生成方法,可以根據(jù)單個參考面部圖像生成個性化視頻,無需額外訓(xùn)練。ID-Animator 繼承了現(xiàn)有基于擴散的視頻生成框架,并引入了一個面部適配器,用于從可學(xué)習(xí)的面部潛在查詢中編碼與身份相關(guān)的嵌入。
為了促進視頻生成中身份信息的提取,研究引入了一個面向身份的數(shù)據(jù)集構(gòu)建流水線,該流水線結(jié)合了從構(gòu)建的面部圖像池中生成分離的人類屬性和動作標(biāo)題的技術(shù);谶@一流水線,進一步設(shè)計了一種隨機面部參考訓(xùn)練方法,以精確捕獲參考圖像中的與身份相關(guān)的嵌入,從而提高了模型對于特定身份視頻生成的保真度和泛化能力。
大量實驗證明了 ID-Animator 在生成個性化人類視頻方面優(yōu)于先前的模型。此外,該方法與流行的預(yù)訓(xùn)練 T2V 模型(如 animatediff)和各種社區(qū)骨干模型高度兼容,在需要高度保持身份的視頻生成的真實應(yīng)用中表現(xiàn)出高度可擴展性。
ID-Animator特色功能亮點:
隨機參考訓(xùn)練:在訓(xùn)練過程中,隨機從之前提取的面部池中選擇一個參考圖像,通過這種蒙特卡洛技術(shù),平均化來自不同參考圖像的特征,減少身份不變特征的影響。
生成能力 :ID-Animator 在基本提示下展示了生成能力,可以通過文本定制人物的上下文信息,包括頭發(fā)和服裝等特征,創(chuàng)造新穎的角色背景,并使他們執(zhí)行特定的動作,同時包括性別和年齡。
身份混合 :通過將來自兩個不同 ID 的嵌入以不同比例混合,我們有效地在生成的視頻中結(jié)合了兩個 ID 的特征。
與 ControlNet 結(jié)合 :ID-Animator 能夠提供單幀控制圖像或多幀控制圖像。當(dāng)提供單幀控制圖像時,生成的結(jié)果巧妙地將控制圖像與面部參考圖像融合。當(dāng)提供多個控制圖像時,生成的視頻序列緊密遵循多個圖像提供的序列。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。