騰訊推全新圖生視頻模型Follow-Your-Pose-v2 可生成多人運動視頻

　　騰訊混元團隊聯(lián)合中山大學、香港科技大學推出了一款全新的圖生視頻模型，名為"Follow-Your-Pose-v2"。這一模型在視頻生成領域實現(xiàn)了從單人到多人的跨越，能夠處理人物合照，讓所有人都能同時在視頻中動起來。

　　主要亮點:

　　支持多人視頻動作生成:在推理耗時更少的情況下，實現(xiàn)多人視頻動作的生成。

　　強泛化能力:無論年齡、服裝、人種、背景雜亂程度或動作復雜性如何，都能生成高質量視頻。

　　日常生活照/視頻可用:模型訓練及生成可以使用日常生活照(包括抓拍)或視頻，無需尋找高質量圖片/視頻。

　　正確處理人物遮擋:面對單張圖片上多個人物軀體相互遮擋的問題，能生成具有正確前后關系的遮擋畫面。

　　技術實現(xiàn)方面:

　　模型利用"光流指導器"引入背景光流信息，即使在相機抖動或背景不穩(wěn)定的情況下，也能生成穩(wěn)定背景動畫。

　　通過"推理圖指導器"和"深度圖指導器"，模型能更好地理解圖片中的人物空間信息和多角色的空間位置關系，有效解決多角色動畫和身體遮擋問題。

　　評估與比較:

　　團隊提出了一個新的基準Multi-Character，包含約4000幀多角色視頻，用以評估多角色生成效果。

　　實驗結果顯示，"Follow-Your-Pose-v2"在兩個公共數(shù)據(jù)集(TikTok和TED演講)和7個指標上的性能均優(yōu)于最新技術35%以上。

　　應用前景:

　　圖像到視頻生成技術在電影內容制作、增強現(xiàn)實、游戲制作及廣告等多個行業(yè)有著廣泛的應用前景，是2024年備受關注的AI技術之一。

　　其他信息:

　　騰訊混元團隊還公布了文生圖開源大模型(混元DiT)的加速庫，大幅提升推理效率，生圖時間縮短75%。

　　混元DiT模型的使用門檻降低，用戶可以在Hugging Face的官方模型庫中用三行代碼調用模型。