AI 3D生成天花板再拉升！清華團(tuán)隊(duì)煉成3D Scaling Law

　　《黑神話·悟空》的火爆，帶火的不僅是3D游戲本身，還有背后暗潮洶涌的AI3D生成技術(shù)。

　　一直以來，外界對3D大模型賽道的關(guān)注度都稍遜于語言模型和視頻模型。然而，全球3D大模型選手們則都在暗中較量、默默發(fā)力，從a16z押注的Yellow，到李飛飛的World Labs，3D大模型的迭代速度是沒落下一點(diǎn)。

　　就在剛剛，國內(nèi)3D大模型頭部玩家VAST更新了旗下的大模型Tripo，是基于千萬級高質(zhì)量原生自有數(shù)據(jù)庫訓(xùn)出來的那種超強(qiáng)版本。

　　而3D生成新工具的玩法也更進(jìn)一步，文字、單圖、多圖都能作為輸入。

　　至于幾何精細(xì)度和圖片還原度等方面的效果嘛，先小放一段用新工具生成3D模型的視頻，大家直觀感受一下

　　在官宣新品之余，VAST又帶來另一則重磅消息，即公司連續(xù)完成了數(shù)億元融資，這也是3D大模型賽道的最大融資金額。

　　當(dāng)然，融資方面的引領(lǐng)，也只是技術(shù)實(shí)力的展現(xiàn)。因?yàn)閂AST的技術(shù)和應(yīng)用場景，確實(shí)夠頂。

　　快速生成無瑕疵，效果驚艷

　　再次拉升AI3D天花板的模型叫做Tripo2.0。

　　Tripo2.0先在幾秒內(nèi)生成形狀幾何預(yù)覽，再接著幾秒內(nèi)為其“貼上皮膚”，⽣成紋理及PBR。

　　目前Tripo2.0已正式上線，大批網(wǎng)友已經(jīng)開啟了實(shí)測。

　　量子位也在第一時(shí)間湊上了熱鬧。

　　Tripo2.0支持文生3D、單圖生3D;Tripo1.4版本也支持多圖生3D。

　　輸入一個(gè)prompt，一次能生成4個(gè)3D模型。

　　根據(jù)輸入的不同，量子位的上手實(shí)測結(jié)果在下面分為兩個(gè)部分，即:

　　文生3D模型

　　圖生3D模型

　　Tripo2.0文生3D模型實(shí)測

　　話不多說，直接先來看一波文生3D效果。

　　第一步，生成幾何形狀「動(dòng)漫少女的半身形象」。

　　就復(fù)雜結(jié)構(gòu)生成效果來看，細(xì)節(jié)還是很足的:

　　接下來給它貼好皮膚。

　　在不超過20秒的生成時(shí)間里獲得精細(xì)的紋理和層次;普通水平的人工建模要達(dá)到這種細(xì)節(jié)，耗時(shí)可能要上千倍。

　　換一道題!用Tripo2.0生成卡通形象的全身形象試試看。

　　先生成個(gè)卡通小矮人試試～

　　出來的效果，那是相當(dāng)可愛(發(fā)出宋丹丹的聲音)，belike:

　　我們又生成了一個(gè)小怪物，并且把單個(gè)生成的模型放大來看。

　　360度旋轉(zhuǎn)，肉眼沒有發(fā)現(xiàn)bug和瑕疵。要知道，怪物后背密密麻麻的尖刺細(xì)節(jié)，是人工建模師的噩夢，一般都會(huì)規(guī)避這種繁復(fù)的設(shè)計(jì)，但是對tripo來說毫無壓力。

　　加大難度，再復(fù)雜一些3D模型生成任務(wù)也同樣能駕馭。

　　透視結(jié)構(gòu)理解過去一直是生成式AI的卡點(diǎn)，以生圖模型的手指問題為代表。3D模型空間結(jié)構(gòu)極為重要，我們可以看到Tripo強(qiáng)大的透視結(jié)構(gòu)理解能力，完美生成了復(fù)雜結(jié)構(gòu)的模型任務(wù)。

　　最后再放個(gè)厲害的，下面這個(gè)購物車什么難度都不用多說了:

　　Tripo2.0圖生3D模型實(shí)測

　　再來看一波圖生3D的效果。

　　單圖生3D模型的算法最考察對圖片的空間信息理解和還原度，這次我們橫向?qū)Ρ纫恍┦袌龅钠渌�玩家效果�?/p>

　　友情提示，下面每張展示圖中的最后一個(gè)3D模型，都由Tripo2.0生成。

　　來，上一支玫瑰花的圖生模型對比展示!

　　對比可以清晰看到，只有它生成的幾何形狀360度無死角，花朵和枝葉完整度最高:

　　貼圖之后，在還原原圖的顏色、質(zhì)感這一塊，也是效果最好的:

　　測完植物生成效果，我們又測試了無生命物體的圖生模型。

　　丟給模型一個(gè)俄羅斯復(fù)活節(jié)彩蛋圖片作為輸入，Tripo2.0的輸出效果最有“浮雕感”，對比來看，紋理細(xì)節(jié)都是最精致的:

　　進(jìn)行多次測試后，不難發(fā)現(xiàn)Tripo2.0在全方位的生成表現(xiàn)上都有顯著差異。

　　比如生成的PBR材質(zhì)具有⾼保真度，保留了原圖表⾯屬性和視覺效果:

　　再比如，不管側(cè)面、背面，每個(gè)面都能捕捉復(fù)雜的原圖特征:

　　Tripo2.0不僅生成質(zhì)量讓人眼前一亮，更高的可控性也是一大特點(diǎn)。

　　輸入不僅支持多模態(tài)，當(dāng)選擇文生3D模型模式時(shí)，還支持輸入負(fù)向prompt(就是不讓生成模型中帶有什么元素)。

　　對輸出模型姿態(tài)的控制性也很絕。

　　既能自定義所生成3D模型頭、腿、手臂等比例。

　　還能“A-pose”“T-pose”兩個(gè)姿勢隨便選，秒秒鐘設(shè)定大長腿:

　　生成好的3D模型還可以一鍵綁定骨骼、風(fēng)格化。

　　3D模型人擁有自己的樂高!

　　更多玩法大家可以慢慢探索，歡迎大家評論區(qū)共創(chuàng)～

　　Tripo2.0效果如此哇塞，所以——

　　Tripo2.0如何煉成?

　　從技術(shù)上層層解剖，Tripo2.0在實(shí)現(xiàn)過程中打滿了一個(gè)詞:3D Scaling Law。

　　首先，Tripo2.0基于海量千萬級3D⾼質(zhì)量數(shù)據(jù)庫，采⽤概率性的⽣成式建模⽅法，通過學(xué)習(xí)捕捉⼤規(guī)模數(shù)據(jù)中的⼏何和材質(zhì)分布。

　　由此，Tripo2.0更好地保證了輸出的質(zhì)量、增強(qiáng)了模型的魯棒性和泛化能⼒。

　　其次，它采用了DiT和U-Net模型的復(fù)雜混合架構(gòu)。

　　DiT擅⻓捕捉3D結(jié)構(gòu)中的全局上下⽂和⻓距離依賴關(guān)系，而U-Net精于保留精細(xì)的細(xì)節(jié)和局部特征，Tripo2.0正是融合了這兩種架構(gòu)的優(yōu)勢。

　　再者，采⽤最先進(jìn)的訓(xùn)練算法，Tripo2.0⼏何和材質(zhì)⽣成模型均基于最先進(jìn)的⼤規(guī)模流模型，擁有數(shù)⼗億參數(shù)。

　　同時(shí)采⽤了guidance distillation和step distillation，通過蒸餾提⾼效率，在不犧牲質(zhì)量的前提下⼤幅優(yōu)化了性能。

　　種種技術(shù)加持下，在3D生成形狀、紋理質(zhì)量、細(xì)節(jié)表現(xiàn)、輸⼊條件的遵循性以及輸出多樣性⽅⾯，Tripo2.0拿下新SOTA，成為新晉“五邊形”戰(zhàn)士:

　　之前，Tripo2.0背后團(tuán)隊(duì)還與其他團(tuán)隊(duì)合作，推出了一籮筐學(xué)術(shù)成果，被Siggraph、CVPR、ICLR、ECCV等頂會(huì)接收。

　　比如Wonder3D，通過一個(gè)跨域擴(kuò)散模型生成一致性的多視圖法線貼圖和相應(yīng)的彩色圖像，然后利用一種新穎的法線融合算法快速、高質(zhì)量地重建3D幾何體。

　　與現(xiàn)有的基于分?jǐn)?shù)蒸餾采樣(SDS)的方法相比，Wonder3D在效率、一致性和細(xì)節(jié)上都有顯著提升，能夠在2-3分鐘內(nèi)完成重建。

　　再比如TGS:Triplane Meets Gaussian Splatting，同樣被CVPR2024收錄。

　　這項(xiàng)技術(shù)利用Transformer網(wǎng)絡(luò)和一種新穎的Triplane-Gaussian混合表示，使得從單張圖片中重建3D模型變得更加高效和精確。

　　更多細(xì)節(jié)，感興趣的童鞋可以自行查閱。

　　總之，Tripo2.0并非一蹴而就，背后有眾多技術(shù)積累。

　　3D世界的Scaling Law

　　最后，我們來正式認(rèn)識(shí)一下Tripo2.0背后的公司。

　　VAST，去年3月成立，是一家專注于在3D大模型研發(fā)的AI公司。

　　公司目標(biāo)是“通過打造⼤眾級別的3D內(nèi)容創(chuàng)作⼯具，建⽴3D的UGC內(nèi)容平臺(tái)，讓基于3D的空間成為用戶體驗(yàn)、內(nèi)容表達(dá)、提升新質(zhì)⽣產(chǎn)⼒的關(guān)鍵要素。”

　　公開資料顯示，該公司的CEO、CTO都是商湯出身:

　　創(chuàng)始人兼CEO宋亞宸，曾在商湯落地過多個(gè)從零到一的AI項(xiàng)目，曾參與大模型六小強(qiáng)之一MiniMax的創(chuàng)立;CTO梁鼎，清華本碩博，師從戴瓊海院士，曾任商湯通用模型負(fù)責(zé)人。

　　成立一年半以來，這家公司動(dòng)作頻頻。

　　首先在今年年初，亮相了自家首個(gè)3D大模型Tripo1.0。

　　Tripo1.0參數(shù)量數(shù)十億，用上它，從單圖/文字生成3D網(wǎng)格模型僅需要8秒。

　　#FormatImgID_16#

　　△3D建模經(jīng)典之「牛油果扶手椅」，Tripo1.0生成

　　上線半年內(nèi)，Tripo1.0全球用戶生成的3D模型超過了500萬個(gè)。

　　500萬個(gè)是什么概念呢?約為全球前三大3D模型數(shù)據(jù)庫總和。

　　到了今年3月初，VAST又聯(lián)合Stable Diffusion背后的Stability AI，共同推出了開源的3D基礎(chǔ)模型TripoSR。

　　因其能夠達(dá)成“0.5秒完成單圖生成3D模型”的成就，在3D生成領(lǐng)域的開源屆廣受歡迎，至今GitHub上攬星4.3k。

　　現(xiàn)在，Tripo2.0又問世了，已經(jīng)在線可玩。

　　得益于3D Scaling Law帶來的效果提升，Tripo的這三次更新時(shí)間跨度僅僅有9個(gè)月。

　　而且有速度也有質(zhì)量，效果在業(yè)內(nèi)外頗受認(rèn)可。

　　拿一則新消息來佐證一下:不久前，世界最大在線游戲開發(fā)平臺(tái)Roblox官宣入局AI3D生成，但截至目前，Tripo都是Roblox玩家最風(fēng)靡的3D建模的趁手工具。

　　接下來的VAST會(huì)帶著Tripo去向什么方向?

　　量子位尋回的答案是，至少在技術(shù)方面，VAST會(huì)持續(xù)追尋3D生成式AI的Scaling Law研究模型規(guī)模、數(shù)據(jù)量和生成質(zhì)量之間關(guān)系的基本原理，同時(shí)尋找數(shù)據(jù)、表征和模型架構(gòu)的可擴(kuò)展范式。

　　既致力于推動(dòng)3D生成式AI的邊界，也會(huì)不斷探索更整體的(Holistic)3D生成。

　　就還挺令人期待的。

　　在語言模型和視頻模型帶給這個(gè)世界一點(diǎn)小小震撼過后，人們也希望3D生成賽道能滋養(yǎng)出屬于自己的ChatGPT時(shí)刻。

　　畢竟3D的AI生成與其它AI生成賽道相比，情況比較特殊，不僅AI生成后人工二改技術(shù)難度大，如果模型效果表現(xiàn)不好，想要僅憑增加抽卡次數(shù)來達(dá)到滿意度，不如趁早自己畫(不是)。

　　好在3D生成行業(yè)深孚眾望，一路前行著——

　　回顧過去的兩年時(shí)間，尤其在2023年末到2024年間，3D生成技術(shù)得到了快速發(fā)展。

　　不僅在效果、速度方面均有提升，還實(shí)現(xiàn)了“效率高、成本低、創(chuàng)新性強(qiáng)和可定制性強(qiáng)”的特點(diǎn)。

　　技術(shù)飛快進(jìn)步的同時(shí)，整個(gè)行業(yè)的人才密度都在不斷增大。

　　國內(nèi)，以VAST為代表，初創(chuàng)公司多來自全球知名高校和科研機(jī)構(gòu);放眼國外，AI教母李飛飛首次創(chuàng)業(yè)成立的空間智能公司World Labs，也著眼于3D生成世界，宣布長期目標(biāo)是構(gòu)建大世界模型(LWM)來感知、生成3D世界并與之交互。

　　眾人拾柴火焰高嘛。

　　可以說，因?yàn)槿瞬排c技術(shù)、效果與場景的清晰和進(jìn)步，現(xiàn)在AI3D生成這個(gè)賽道，漸漸走進(jìn)了更多人的視野之中。

　　而3D Scaling Law或?qū)�帶來的突破性進(jìn)展，似乎已經(jīng)預(yù)示了人工智能領(lǐng)域下一個(gè)焦點(diǎn)的方向。