微軟發(fā)布對口型軟件VASA-1 圖片加語音即可生成逼真說話視頻

　　由微軟亞洲研究院開發(fā)的VASA-1項(xiàng)目，是一項(xiàng)前沿的人工智能技術(shù)，它能夠?qū)�單一靜態(tài)圖像和一段語音音頻轉(zhuǎn)換為逼真的對話面部動畫。這項(xiàng)技術(shù)不僅能夠?qū)崿F(xiàn)音頻與唇部動作的精確同步，還能夠捕捉并再現(xiàn)豐富的面部表情和自然的頭部動作，極大地增強(qiáng)了生成視頻的真實(shí)感和生動性。

　　主要功能與特點(diǎn):

　　逼真的面部動畫: VASA-1可以根據(jù)一段語音音頻和單一靜態(tài)圖像生成逼真的對話面部視頻，包括精確的唇部運(yùn)動同步和復(fù)雜的面部表情及頭部動作。

　　高度自然的頭部動作: VASA-1能夠生成包括點(diǎn)頭和轉(zhuǎn)頭在內(nèi)的自然頭部運(yùn)動，這些都是人類交流中常見的非語言行為。

　　實(shí)時(shí)視頻生成: 利用NVIDIA RTX4090GPU，VASA-1能夠?qū)崿F(xiàn)高性能的視頻生成。它支持在離線模式下以45fps生成512×512分辨率的視頻，以及在線流模式下的40fps生成速度，前置延遲僅為170毫秒，適合實(shí)時(shí)應(yīng)用。

　　泛化能力: 模型展現(xiàn)出強(qiáng)大的適應(yīng)能力，即使面對與訓(xùn)練數(shù)據(jù)不同的音頻或圖像，如不同的語言或非常規(guī)的藝術(shù)照片，也能夠有效工作。

　　支持多種語言: VASA-1不僅支持中文，還能處理多種語言的語音輸入，甚至能夠生成唱歌的動畫。

　　解耦能力: 模型能夠獨(dú)立處理和控制人臉的不同動態(tài)特征，如嘴唇運(yùn)動、表情、眼睛注視方向等，提供了高度的解耦和可控性。

　　生成的可控性: 通過引入條件信號，如眼睛注視方向、頭部距離和情緒偏移，VASA-1增強(qiáng)了視頻生成的可控性，允許更精細(xì)的調(diào)整和個(gè)性化的動畫輸出。

　　技術(shù)原理:

　　VASA-1項(xiàng)目利用了一系列先進(jìn)的計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)技術(shù)，包括面部潛在空間構(gòu)建、數(shù)據(jù)集處理、3D輔助表征、整體面部動態(tài)和頭部動作生成、音頻條件化的生成控制、以及實(shí)時(shí)生成支持等。這些技術(shù)的應(yīng)用使得VASA-1能夠生成與音頻高度同步的、具有豐富表情和動作的逼真面部動畫。

　　案例與資源:

　　微軟亞洲研究院提供了VASA-1的項(xiàng)目演示和相關(guān)論文，以供有興趣的研究人員和開發(fā)者進(jìn)一步探索和學(xué)習(xí)。所有在演示中使用的肖像圖像，除了蒙娜麗莎外，都是由StyleGAN2或DALL-E-3生成的虛擬、不存在的身份圖像。