文本生成高精準3D模型，北京智源AI研究院等出品—3D-GPT

　　北京智源AI研究院、牛津大學、澳大利亞國立大學聯(lián)合發(fā)布了一項研究—3D-GPT，通過文本問答方式就能創(chuàng)建高精準3D模型。

　　據(jù)悉，3D-GPT使用了大語言模型的多任務推理能力，通過任務調度代理、概念化代理和建模代理三大模塊，簡化了3D建模的開發(fā)流程實現(xiàn)技術民主化。

　　但3D-GPT與現(xiàn)有的文本生成3D模型方法大有不同，生成過程是可以操控函數(shù)進行3D建模，而不是常規(guī)的3D神經(jīng)元表征，同時可與Blender(開源三維軟件)實現(xiàn)無縫集成。這極大提升了模型的靈活性和準確性。

　　隨著Meta提出元宇宙概念后，全球對高保真的3D內(nèi)容需求激增。然而，傳統(tǒng)的3D建模流程效率低下，設計師需要從基本形狀逐步打造模型，再進行著色、細節(jié)處理等工作十分繁瑣，而3D-GPT技術框架可有效解決這一痛點。

　　從論文介紹來看，主要由任務調度代理、概念化代理和建模代理三大塊組成。任務調度代理扮演總指揮的角色，根據(jù)文本語言指令確定需要調用的建模函數(shù)，會查詢所有可用函數(shù)的文檔，選擇最合適的對象。

　　概念化代理用于豐富語言描述的細節(jié)，為后續(xù)建模做準備。以樹木生成為例，用戶提供的文字可能僅是“碧綠的樹林”，但建模需要更精確的參數(shù)如樹枝長度、樹葉類型等。而概念化代理就會自動補充這些細節(jié)，輸出豐富的描述以指導建模。

　　建模代理則需要解析概念化代理輸出的語言描述，轉換為具體的代碼和參數(shù)，調用相應函數(shù)實現(xiàn)建模。

　　以天空渲染為例，輸入文字可能是“湛藍的天空”，建模代理就需要推斷出太陽強度、云層密度等參數(shù)，并寫出調用天空渲染函數(shù)的代碼，最終輸出逼真的3D天空。

　　建模工具

　　3D-GPT使用了InfiniGen作為基于Python-Blender的過程化生成器。為讓大語言模型能夠高效利用InfiniGen，研究人員為每個函數(shù)Fj提供了提示，包括:

　　(1)函數(shù)文檔Dj:詳細解釋輸入?yún)��?shù)Pj以及函數(shù)的目的和功能。

　　(2)易讀代碼Cj:提供容易理解的重構函數(shù)代碼。

　　(3)所需信息Ij:概述推理函數(shù)參數(shù)所需的具體信息，協(xié)助理解函數(shù)的上下文和先決條件。

　　(4)使用示例Ej:提供示例演示如何從文本描述中推理參數(shù)Pj，以及如何調用函數(shù)。

　　這些資源使大語言模型可以利用其規(guī)劃、推理和工具使用的核心能力，根據(jù)語言指令高效地利用InfiniGen進行3D生成。

　　在建模工具搭建好之后，3D-GPT采用了一個多代理協(xié)作框架，來處理3D建模流程。

　　任務調度代理

　　任務調度代理在規(guī)劃過程中發(fā)揮關鍵作用。通過用戶指令查詢函數(shù)文檔，然后選擇所需的函數(shù)進行執(zhí)行。

　　選擇函數(shù)后，概念化代理進行推理以豐富用戶提供的文本描述。最后，建模代理推斷每個選定函數(shù)的參數(shù)，并生成Python代碼，調用Blender API接口，促進相應3D內(nèi)容的創(chuàng)建。

　　任務調度代理與系統(tǒng)的對話示例如下:

　　系統(tǒng):你是根據(jù)用戶指令選擇合適函數(shù)的高效規(guī)劃者。將被提供以下函數(shù):<(F名稱j，F(xiàn)用法j)>。以下是如何根據(jù)用戶指令選擇函數(shù)的幾個示例:。

　　用戶:我的指令是:

　　。

　　任務調度代理:根據(jù)指令

　　，我們確定了需要用于3D建模的函數(shù)子列表ˆF。

　　概念化代理

　　描述可能不會明確提供建模所需的詳細外觀描述。為緩解這一問題，引入了概念化代理，它與任務調度代理協(xié)作以增強用戶提供的文本描述(Li)。對于每個函數(shù)Fj，它會將用戶輸入文本和相應的函數(shù)專屬信息進行豐富，生成詳細的外觀描述Lij。

　　系統(tǒng)與概念化代理對話格式如下:

　　系統(tǒng):你是專業(yè)作家，擅長描述對象的外觀，特別是大型場景。給定描述

　　，請?zhí)峁┮韵滦畔⑺�需的詳細描述�?/p>

　　對于描述中未提及的術語，請發(fā)揮想象力，以確保它們與文本描述一致。概念化代理:根據(jù)

　　和請求的信息，擴展后的描述是:。

　　建模代理

　　在概念化之后，3D建模處理目標是將詳細的人類語言轉換為機器可理解的語言。

　　在技術框架中，建模代理通過操作程序建模庫中的函數(shù)來創(chuàng)建逼真的3D模型。對于每個函數(shù)Fj和用戶指令Li，任務調度代理從概念化代理獲得增強上下文 cLij。

　　對于每個函數(shù)Fj，我們都有代碼Cj，函數(shù)文檔Dj和一個用法示例Ej。建模代理利用這些信息選擇適當?shù)暮瘮?shù)并推斷出相應的參數(shù)。

　　隨后，建模代理生成準確調用所選函數(shù)的Python代碼(例如，在循環(huán)中調用它，而不是調用它)，并使用適當?shù)臄?shù)據(jù)類型正確傳遞推斷的參數(shù)給函數(shù)。

　　建模代理遵循以下對話模式:

　　系統(tǒng):你是一位優(yōu)秀的3D設計師，能夠將長文本描述轉換為參數(shù)，并且擅長理解Python函數(shù)來操縱3D內(nèi)容。給定文本描述，我們有以下函數(shù)代碼和函數(shù)文檔。

　　以下是一個關于如何調用函數(shù)以使場景符合描述的示例:。理解函數(shù)，并通過調用函數(shù)建模符合文本描述的3D場景。

　　建模代理:根據(jù)描述，將使用以下函數(shù)，并采用各自的參數(shù)值。

　　Blender渲染:建模代理最終提供帶有推斷參數(shù)的Python函數(shù)調用，這些調用用于Blender節(jié)點控制和渲染，從而產(chǎn)生最終的3D網(wǎng)格和RGB結果。

　　測試數(shù)據(jù)

　　研究人員進行了大量實驗，結果表明3D-GPT可以根據(jù)不同語言描述生成符合要求的3D場景和對象。具體表現(xiàn)如下:

　　3D-GPT可以根據(jù)簡要描述生成較大的3D場景，場景內(nèi)容與描述基本一致。對于單一對象，3D-GPT可以準確捕捉其關鍵外觀特征，實現(xiàn)精細的形狀、曲線和屬性控制。

　　3D-GPT能夠正確理解工具的功能，獲取必要知識，并將其用于精確控制。即使參數(shù)與視覺外觀無直接關系，也能準確推理參數(shù)值。在多步語言指令的場景中，3D-GPT能夠充分理解每一步指令，并對場景進行準確修改。