由微軟亞洲研究院開發(fā)的VASA-1項(xiàng)目,是一項(xiàng)前沿的人工智能技術(shù),它能夠?qū)我混o態(tài)圖像和一段語音音頻轉(zhuǎn)換為逼真的對話面部動畫。這項(xiàng)技術(shù)不僅能夠?qū)崿F(xiàn)音頻與唇部動作的精確同步,還能夠捕捉并再現(xiàn)豐富的面部表情和自然的頭部動作,極大地增強(qiáng)了生成視頻的真實(shí)感和生動性。
主要功能與特點(diǎn):
逼真的面部動畫: VASA-1可以根據(jù)一段語音音頻和單一靜態(tài)圖像生成逼真的對話面部視頻,包括精確的唇部運(yùn)動同步和復(fù)雜的面部表情及頭部動作。
高度自然的頭部動作: VASA-1能夠生成包括點(diǎn)頭和轉(zhuǎn)頭在內(nèi)的自然頭部運(yùn)動,這些都是人類交流中常見的非語言行為。
實(shí)時視頻生成: 利用NVIDIA RTX4090GPU,VASA-1能夠?qū)崿F(xiàn)高性能的視頻生成。它支持在離線模式下以45fps生成512×512分辨率的視頻,以及在線流模式下的40fps生成速度,前置延遲僅為170毫秒,適合實(shí)時應(yīng)用。
泛化能力: 模型展現(xiàn)出強(qiáng)大的適應(yīng)能力,即使面對與訓(xùn)練數(shù)據(jù)不同的音頻或圖像,如不同的語言或非常規(guī)的藝術(shù)照片,也能夠有效工作。
支持多種語言: VASA-1不僅支持中文,還能處理多種語言的語音輸入,甚至能夠生成唱歌的動畫。
解耦能力: 模型能夠獨(dú)立處理和控制人臉的不同動態(tài)特征,如嘴唇運(yùn)動、表情、眼睛注視方向等,提供了高度的解耦和可控性。
生成的可控性: 通過引入條件信號,如眼睛注視方向、頭部距離和情緒偏移,VASA-1增強(qiáng)了視頻生成的可控性,允許更精細(xì)的調(diào)整和個性化的動畫輸出。
技術(shù)原理:
VASA-1項(xiàng)目利用了一系列先進(jìn)的計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)技術(shù),包括面部潛在空間構(gòu)建、數(shù)據(jù)集處理、3D輔助表征、整體面部動態(tài)和頭部動作生成、音頻條件化的生成控制、以及實(shí)時生成支持等。這些技術(shù)的應(yīng)用使得VASA-1能夠生成與音頻高度同步的、具有豐富表情和動作的逼真面部動畫。
案例與資源:
微軟亞洲研究院提供了VASA-1的項(xiàng)目演示和相關(guān)論文,以供有興趣的研究人員和開發(fā)者進(jìn)一步探索和學(xué)習(xí)。所有在演示中使用的肖像圖像,除了蒙娜麗莎外,都是由StyleGAN2或DALL-E-3生成的虛擬、不存在的身份圖像。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國柏林國際電子消費(fèi)品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎”金獎,有力證明了其在全球市場的強(qiáng)大影響力。
近日,中國家電及消費(fèi)電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。