谷歌推出多模態(tài)VLOGGER AI：讓靜態(tài)肖像圖動(dòng)起來(lái)“說(shuō)話”

　　谷歌近日在 GitHub 頁(yè)面發(fā)布博文，介紹了 VLOGGER AI 模型，用戶只需要輸入一張肖像照片和一段音頻內(nèi)容，該模型可以讓這些人物“動(dòng)起來(lái)”，富有面部表情地朗讀音頻內(nèi)容。

　　VLOGGER AI 是一種適用于虛擬肖像的多模態(tài) Diffusion 模型，使用 MENTOR 數(shù)據(jù)庫(kù)進(jìn)行訓(xùn)練，該數(shù)據(jù)庫(kù)中包含超過(guò) 80 萬(wàn)名人物肖像，以及累計(jì)超過(guò) 2200 小時(shí)的影片，從而讓 VLOGGER 生成不同種族、不同年齡、不同穿著、不同姿勢(shì)的肖像影片。

　　研究人員表示：“和此前的多模態(tài)相比，VLOGGER 的優(yōu)勢(shì)在于不需要對(duì)每個(gè)人進(jìn)行訓(xùn)練，不依賴于人臉檢測(cè)和裁剪，可以生成完整的圖像(而不僅僅是人臉或嘴唇)，并且考慮了廣泛的場(chǎng)景(例如可見(jiàn)軀干或不同的主體身份)，這些對(duì)于正確合成交流的人類至關(guān)重要”。

　　Google將 VLOGGER 視為邁向“通用聊天機(jī)器人”的一步，之后 AI 就可以通過(guò)語(yǔ)音、手勢(shì)和眼神交流以自然的方式與人類互動(dòng)。

　　VLOGGER 的應(yīng)用場(chǎng)景還包括可以用于報(bào)告、教育場(chǎng)域和旁白等，也可剪輯既有的影片，如果對(duì)影片中的表情不滿意就能加以調(diào)整。