訓練效率提升40倍！開源圖片生3D模型，Stable Zero123來啦

　　本文來自于微信公眾號 AIGC開放社區(qū)(ID:AIGCOPEN)，作者:AIGC開放社區(qū)。

　　12月14日，著名生成式AI開源平臺Stability.ai在官網(wǎng)開源了，圖片生成高質(zhì)量3D模型——Stable Zero123。

　　Stable Zero123是基于今年3月，豐田研究院和哥倫比亞大學聯(lián)合開源的Zero123模型開發(fā)而成。主要通過更改渲染數(shù)據(jù)集和分數(shù)蒸餾對模型進行了大幅度優(yōu)化，不僅生成的3D模型效果比Zero123更好，訓練效率也提升了40倍。

　　值得一提的是，Stable Zero123可以與Stability.ai最新開源的高精準圖片模型SDXL相結(jié)合使用，相當于3D模型擴展插件。

　　Stable Zero123生成的3D模型示例

　　高質(zhì)量數(shù)據(jù)集

　　高質(zhì)量數(shù)據(jù)集已成為預訓練大模型的重要環(huán)節(jié)之一，甚至超過了更多的神經(jīng)元。

　　所以，Stability.ai對一個超過1000萬個3D模型數(shù)據(jù)集Objaverse-XL進行了過濾，只保留高質(zhì)量、精準、數(shù)據(jù)標注準確的模型。

　　這可以讓Stable Zero123在生成的過程中更好的理解和生成3D模型。Zero123的最新模型XL也是基于該數(shù)據(jù)集訓練而成。

　　Stable Zero123簡單介紹

　　由于Stable Zero123暫時沒有開放論文，只能用Zero123為大家解讀了。

　　其實這兩個模型挺有意思的是互相學習。Zero123是基于Stability.ai開源的文生圖模型Stable Diffusion進行了創(chuàng)新、微調(diào)，使其學會了控制相機的相對視角變換，然后基于視角的擴散方法進行去噪，最后使用3D重建方法進行模型重塑。

　　學習控制相機視角:Zero123通過一個合成數(shù)據(jù)集微調(diào)預訓練了Stable Diffusion模型，使其學會相對相機視角變換的控制，而不破壞模型中的其他表示。

　　基于視角的擴散:將圖像的CLIP嵌入與相對視角變換拼接作為條件信息，指導去噪過程。同時也將輸入圖像與正在去噪的圖像拼接，幫助保持目標物體的識別度和細節(jié)。

　　3D模型重建:通過SJC優(yōu)化一個體素輻射場表示，并使用基于視角的擴散模型進行監(jiān)督。隨機采樣視角，利用Zero123合成對應視角下的圖像，計算圖像與體素渲染結(jié)果之間的得分，更新體素場。

　　這就能使Stable Diffusion模型輸出的豐富2D紋理和形狀，被完美地注入到了3D建模的過程中，形成3D模型。

　　目前，Stable Zero123模型主要用于研究，未來會開放商用。

　　本文素材來源Stability.ai官網(wǎng)、Zero123論文