訓(xùn)練效率提升40倍！開(kāi)源圖片生3D模型，Stable Zero123來(lái)啦

　　本文來(lái)自于微信公眾號(hào) AIGC開(kāi)放社區(qū)(ID:AIGCOPEN)，作者:AIGC開(kāi)放社區(qū)。

　　12月14日，著名生成式AI開(kāi)源平臺(tái)Stability.ai在官網(wǎng)開(kāi)源了，圖片生成高質(zhì)量3D模型——Stable Zero123。

　　Stable Zero123是基于今年3月，豐田研究院和哥倫比亞大學(xué)聯(lián)合開(kāi)源的Zero123模型開(kāi)發(fā)而成。主要通過(guò)更改渲染數(shù)據(jù)集和分?jǐn)?shù)蒸餾對(duì)模型進(jìn)行了大幅度優(yōu)化，不僅生成的3D模型效果比Zero123更好，訓(xùn)練效率也提升了40倍。

　　值得一提的是，Stable Zero123可以與Stability.ai最新開(kāi)源的高精準(zhǔn)圖片模型SDXL相結(jié)合使用，相當(dāng)于3D模型擴(kuò)展插件。

　　Stable Zero123生成的3D模型示例

　　高質(zhì)量數(shù)據(jù)集

　　高質(zhì)量數(shù)據(jù)集已成為預(yù)訓(xùn)練大模型的重要環(huán)節(jié)之一，甚至超過(guò)了更多的神經(jīng)元。

　　所以，Stability.ai對(duì)一個(gè)超過(guò)1000萬(wàn)個(gè)3D模型數(shù)據(jù)集Objaverse-XL進(jìn)行了過(guò)濾，只保留高質(zhì)量、精準(zhǔn)、數(shù)據(jù)標(biāo)注準(zhǔn)確的模型。

　　這可以讓Stable Zero123在生成的過(guò)程中更好的理解和生成3D模型。Zero123的最新模型XL也是基于該數(shù)據(jù)集訓(xùn)練而成。

　　Stable Zero123簡(jiǎn)單介紹

　　由于Stable Zero123暫時(shí)沒(méi)有開(kāi)放論文，只能用Zero123為大家解讀了。

　　其實(shí)這兩個(gè)模型挺有意思的是互相學(xué)習(xí)。Zero123是基于Stability.ai開(kāi)源的文生圖模型Stable Diffusion進(jìn)行了創(chuàng)新、微調(diào)，使其學(xué)會(huì)了控制相機(jī)的相對(duì)視角變換，然后基于視角的擴(kuò)散方法進(jìn)行去噪，最后使用3D重建方法進(jìn)行模型重塑。

　　學(xué)習(xí)控制相機(jī)視角:Zero123通過(guò)一個(gè)合成數(shù)據(jù)集微調(diào)預(yù)訓(xùn)練了Stable Diffusion模型，使其學(xué)會(huì)相對(duì)相機(jī)視角變換的控制，而不破壞模型中的其他表示。

　　基于視角的擴(kuò)散:將圖像的CLIP嵌入與相對(duì)視角變換拼接作為條件信息，指導(dǎo)去噪過(guò)程。同時(shí)也將輸入圖像與正在去噪的圖像拼接，幫助保持目標(biāo)物體的識(shí)別度和細(xì)節(jié)。

　　3D模型重建:通過(guò)SJC優(yōu)化一個(gè)體素輻射場(chǎng)表示，并使用基于視角的擴(kuò)散模型進(jìn)行監(jiān)督。隨機(jī)采樣視角，利用Zero123合成對(duì)應(yīng)視角下的圖像，計(jì)算圖像與體素渲染結(jié)果之間的得分，更新體素場(chǎng)。

　　這就能使Stable Diffusion模型輸出的豐富2D紋理和形狀，被完美地注入到了3D建模的過(guò)程中，形成3D模型。

　　目前，Stable Zero123模型主要用于研究，未來(lái)會(huì)開(kāi)放商用。

　　本文素材來(lái)源Stability.ai官網(wǎng)、Zero123論文