文本生成高精準(zhǔn)3D模型，北京智源AI研究院等出品—3D-GPT

　　北京智源AI研究院、牛津大學(xué)、澳大利亞國(guó)立大學(xué)聯(lián)合發(fā)布了一項(xiàng)研究—3D-GPT，通過文本問答方式就能創(chuàng)建高精準(zhǔn)3D模型。

　　據(jù)悉，3D-GPT使用了大語(yǔ)言模型的多任務(wù)推理能力，通過任務(wù)調(diào)度代理、概念化代理和建模代理三大模塊，簡(jiǎn)化了3D建模的開發(fā)流程實(shí)現(xiàn)技術(shù)民主化。

　　但3D-GPT與現(xiàn)有的文本生成3D模型方法大有不同，生成過程是可以操控函數(shù)進(jìn)行3D建模，而不是常規(guī)的3D神經(jīng)元表征，同時(shí)可與Blender(開源三維軟件)實(shí)現(xiàn)無(wú)縫集成。這極大提升了模型的靈活性和準(zhǔn)確性。

　　隨著Meta提出元宇宙概念后，全球?qū)Ω弑Ｕ娴?D內(nèi)容需求激增。然而，傳統(tǒng)的3D建模流程效率低下，設(shè)計(jì)師需要從基本形狀逐步打造模型，再進(jìn)行著色、細(xì)節(jié)處理等工作十分繁瑣，而3D-GPT技術(shù)框架可有效解決這一痛點(diǎn)。

　　從論文介紹來(lái)看，主要由任務(wù)調(diào)度代理、概念化代理和建模代理三大塊組成。任務(wù)調(diào)度代理扮演總指揮的角色，根據(jù)文本語(yǔ)言指令確定需要調(diào)用的建模函數(shù)，會(huì)查詢所有可用函數(shù)的文檔，選擇最合適的對(duì)象。

　　概念化代理用于豐富語(yǔ)言描述的細(xì)節(jié)，為后續(xù)建模做準(zhǔn)備。以樹木生成為例，用戶提供的文字可能僅是“碧綠的樹林”，但建模需要更精確的參數(shù)如樹枝長(zhǎng)度、樹葉類型等。而概念化代理就會(huì)自動(dòng)補(bǔ)充這些細(xì)節(jié)，輸出豐富的描述以指導(dǎo)建模。

　　建模代理則需要解析概念化代理輸出的語(yǔ)言描述，轉(zhuǎn)換為具體的代碼和參數(shù)，調(diào)用相應(yīng)函數(shù)實(shí)現(xiàn)建模。

　　以天空渲染為例，輸入文字可能是“湛藍(lán)的天空”，建模代理就需要推斷出太陽(yáng)強(qiáng)度、云層密度等參數(shù)，并寫出調(diào)用天空渲染函數(shù)的代碼，最終輸出逼真的3D天空。

　　建模工具

　　3D-GPT使用了InfiniGen作為基于Python-Blender的過程化生成器。為讓大語(yǔ)言模型能夠高效利用InfiniGen，研究人員為每個(gè)函數(shù)Fj提供了提示，包括:

　　(1)函數(shù)文檔Dj:詳細(xì)解釋輸入?yún)��?shù)Pj以及函數(shù)的目的和功能。

　　(2)易讀代碼Cj:提供容易理解的重構(gòu)函數(shù)代碼。

　　(3)所需信息Ij:概述推理函數(shù)參數(shù)所需的具體信息，協(xié)助理解函數(shù)的上下文和先決條件。

　　(4)使用示例Ej:提供示例演示如何從文本描述中推理參數(shù)Pj，以及如何調(diào)用函數(shù)。

　　這些資源使大語(yǔ)言模型可以利用其規(guī)劃、推理和工具使用的核心能力，根據(jù)語(yǔ)言指令高效地利用InfiniGen進(jìn)行3D生成。

　　在建模工具搭建好之后，3D-GPT采用了一個(gè)多代理協(xié)作框架，來(lái)處理3D建模流程。

　　任務(wù)調(diào)度代理

　　任務(wù)調(diào)度代理在規(guī)劃過程中發(fā)揮關(guān)鍵作用。通過用戶指令查詢函數(shù)文檔，然后選擇所需的函數(shù)進(jìn)行執(zhí)行。

　　選擇函數(shù)后，概念化代理進(jìn)行推理以豐富用戶提供的文本描述。最后，建模代理推斷每個(gè)選定函數(shù)的參數(shù)，并生成Python代碼，調(diào)用Blender API接口，促進(jìn)相應(yīng)3D內(nèi)容的創(chuàng)建。

　　任務(wù)調(diào)度代理與系統(tǒng)的對(duì)話示例如下:

　　系統(tǒng):你是根據(jù)用戶指令選擇合適函數(shù)的高效規(guī)劃者。將被提供以下函數(shù):<(F名稱j，F(xiàn)用法j)>。以下是如何根據(jù)用戶指令選擇函數(shù)的幾個(gè)示例:。

　　用戶:我的指令是:

　　。

　　任務(wù)調(diào)度代理:根據(jù)指令

　　，我們確定了需要用于3D建模的函數(shù)子列表ˆF。

　　概念化代理

　　描述可能不會(huì)明確提供建模所需的詳細(xì)外觀描述。為緩解這一問題，引入了概念化代理，它與任務(wù)調(diào)度代理協(xié)作以增強(qiáng)用戶提供的文本描述(Li)。對(duì)于每個(gè)函數(shù)Fj，它會(huì)將用戶輸入文本和相應(yīng)的函數(shù)專屬信息進(jìn)行豐富，生成詳細(xì)的外觀描述Lij。

　　系統(tǒng)與概念化代理對(duì)話格式如下:

　　系統(tǒng):你是專業(yè)作家，擅長(zhǎng)描述對(duì)象的外觀，特別是大型場(chǎng)景。給定描述

　　，請(qǐng)?zhí)峁┮韵滦畔⑺�需的詳�?xì)描述。

　　對(duì)于描述中未提及的術(shù)語(yǔ)，請(qǐng)發(fā)揮想象力，以確保它們與文本描述一致。概念化代理:根據(jù)

　　和請(qǐng)求的信息，擴(kuò)展后的描述是:。

　　建模代理

　　在概念化之后，3D建模處理目標(biāo)是將詳細(xì)的人類語(yǔ)言轉(zhuǎn)換為機(jī)器可理解的語(yǔ)言。

　　在技術(shù)框架中，建模代理通過操作程序建模庫(kù)中的函數(shù)來(lái)創(chuàng)建逼真的3D模型。對(duì)于每個(gè)函數(shù)Fj和用戶指令Li，任務(wù)調(diào)度代理從概念化代理獲得增強(qiáng)上下文 cLij。

　　對(duì)于每個(gè)函數(shù)Fj，我們都有代碼Cj，函數(shù)文檔Dj和一個(gè)用法示例Ej。建模代理利用這些信息選擇適當(dāng)?shù)暮瘮?shù)并推斷出相應(yīng)的參數(shù)。

　　隨后，建模代理生成準(zhǔn)確調(diào)用所選函數(shù)的Python代碼(例如，在循環(huán)中調(diào)用它，而不是調(diào)用它)，并使用適當(dāng)?shù)臄?shù)據(jù)類型正確傳遞推斷的參數(shù)給函數(shù)。

　　建模代理遵循以下對(duì)話模式:

　　系統(tǒng):你是一位優(yōu)秀的3D設(shè)計(jì)師，能夠?qū)㈤L(zhǎng)文本描述轉(zhuǎn)換為參數(shù)，并且擅長(zhǎng)理解Python函數(shù)來(lái)操縱3D內(nèi)容。給定文本描述，我們有以下函數(shù)代碼和函數(shù)文檔。

　　以下是一個(gè)關(guān)于如何調(diào)用函數(shù)以使場(chǎng)景符合描述的示例:。理解函數(shù)，并通過調(diào)用函數(shù)建模符合文本描述的3D場(chǎng)景。

　　建模代理:根據(jù)描述，將使用以下函數(shù)，并采用各自的參數(shù)值。

　　Blender渲染:建模代理最終提供帶有推斷參數(shù)的Python函數(shù)調(diào)用，這些調(diào)用用于Blender節(jié)點(diǎn)控制和渲染，從而產(chǎn)生最終的3D網(wǎng)格和RGB結(jié)果。

　　測(cè)試數(shù)據(jù)

　　研究人員進(jìn)行了大量實(shí)驗(yàn)，結(jié)果表明3D-GPT可以根據(jù)不同語(yǔ)言描述生成符合要求的3D場(chǎng)景和對(duì)象。具體表現(xiàn)如下:

　　3D-GPT可以根據(jù)簡(jiǎn)要描述生成較大的3D場(chǎng)景，場(chǎng)景內(nèi)容與描述基本一致。對(duì)于單一對(duì)象，3D-GPT可以準(zhǔn)確捕捉其關(guān)鍵外觀特征，實(shí)現(xiàn)精細(xì)的形狀、曲線和屬性控制。

　　3D-GPT能夠正確理解工具的功能，獲取必要知識(shí)，并將其用于精確控制。即使參數(shù)與視覺外觀無(wú)直接關(guān)系，也能準(zhǔn)確推理參數(shù)值。在多步語(yǔ)言指令的場(chǎng)景中，3D-GPT能夠充分理解每一步指令，并對(duì)場(chǎng)景進(jìn)行準(zhǔn)確修改。