比對(duì)口型還牛！InstructAvatar：實(shí)現(xiàn)文字生成指定面部的表情和動(dòng)作

　　最近，對(duì)話形象生成模型在實(shí)現(xiàn)與音頻的逼真準(zhǔn)確口型同步方面取得了進(jìn)展，但在控制和傳達(dá)形象的細(xì)節(jié)表情和情感方面仍有不足，使生成的視頻缺乏生動(dòng)性和可控性。

　　因此，北京大學(xué)的研究團(tuán)隊(duì)提出了一種名為 InstructAvatar 的新穎方法，通過自然語言界面來控制虛擬形象的情感和面部動(dòng)作，從而提供了對(duì)生成的視頻進(jìn)行細(xì)粒度控制的能力。InstructAvatar可實(shí)現(xiàn)的效果包括：

　　通過自然語言輸入控制頭像的情緒和面部動(dòng)作。

　　利用一個(gè)自動(dòng)注釋管道構(gòu)建訓(xùn)練數(shù)據(jù)集，使得頭像可以根據(jù)文本指令和音頻進(jìn)行生成。

　　生成的頭像能夠準(zhǔn)確同步口型，表情自然且生動(dòng)。

　　相比于現(xiàn)有方法，在細(xì)粒度情緒控制、口型同步質(zhì)量和自然度方面有更好的表現(xiàn)。

　　InstructAvatar 的框架包括兩個(gè)組件:變分自動(dòng)編碼器(VAE)和基于擴(kuò)散模型的動(dòng)作生成器。VAE 用于將動(dòng)作信息從視頻中解耦，并根據(jù)音頻和指令生成器生成的動(dòng)作潛變量來生成最終的視頻。在推理過程中，通過迭代去噪高斯噪聲來獲取預(yù)測(cè)的動(dòng)作潛變量，并結(jié)合用戶提供的肖像，使用 VAE 的解碼器生成最終的視頻。

　　通過與基線模型的定性比較，可以看出 InstructAvatar 在唇同步質(zhì)量和情感可控性方面取得了良好的效果。此外，模型生成的結(jié)果具有增強(qiáng)的自然性，并有效地保留了身份特征。

　　值得一提的是，該模型僅基于文本輸入推斷說話的情感，這在直觀上提出了一個(gè)更具挑戰(zhàn)性的任務(wù)。模型支持更廣泛的指令范圍，超出了大多數(shù)基線模型的范圍。

　　此外，該模型展現(xiàn)了精確的情感控制能力，并生成了自然的結(jié)果。InstructAvatar 具有細(xì)粒度的控制能力，并在領(lǐng)域之外的場(chǎng)景中表現(xiàn)出良好的泛化能力。