Meta推出ViewDiff 模型：文本生成多視角3D圖像

　　Meta 與德國(guó)慕尼黑工業(yè)大學(xué)研發(fā)出創(chuàng)新模型 ViewDiff，旨在幫助用戶通過文本、圖像或二者結(jié)合使用，快速生成高質(zhì)量多視角3D 圖像。

　　該模型解決了傳統(tǒng)文本生成多視角3D 圖像領(lǐng)域的三大難點(diǎn):無法生成真實(shí)背景環(huán)境、圖像質(zhì)量和多樣性不理想、缺乏多視角和一致性。通過引入一種創(chuàng)新架構(gòu)，ViewDiff 采用文生成圖模型作為先驗(yàn)知識(shí)和圖像流生成器，再通過顯式的3D 建模為圖像賦予一致性和多視角能力。

　　為了有效捕獲3D 幾何和全局風(fēng)格，研究人員對(duì)原有 U-Net 架構(gòu)進(jìn)行了創(chuàng)新，增強(qiáng)了跨幀注意力層和投影層�？鐜�注意力層替換了標(biāo)準(zhǔn)自注意力層，實(shí)現(xiàn)跨圖像風(fēng)格匹配;而投影層將多視圖2D 特征集成為顯式的3D 體素特征，保證了輸出圖像的3D 幾何一致性。在此基礎(chǔ)上，ViewDiff 還開發(fā)了自回歸生成模塊，使其能在任意視角上生成更多的3D 一致性圖像，進(jìn)一步提升了模型的生成能力。

　　該研究的推出填補(bǔ)了文本生成多視角3D 圖像領(lǐng)域的技術(shù)空白，有望為游戲開發(fā)、元宇宙等行業(yè)提供更便捷、高效的模型構(gòu)建方案。該模型的推出不僅在技術(shù)層面上具有重大意義，也將為未來的3D 圖像生成領(lǐng)域帶來更多創(chuàng)新可能。