上海科大等開源創(chuàng)新模型：文本生成精美3D服裝

　　上�？萍即髮W(xué)、賓夕法尼亞大學(xué)、Deemos科技和NeuDim科技的研究人員聯(lián)合推出了一個創(chuàng)新模型DressCode。

　　用戶通過DressCode只需要輸入文本就能生成各種精美的3D服裝模型，例如，一件法式蕾絲邊的連衣裙;紅色絲綢的睡衣等。

　　DressCode不僅能根據(jù)提示文本生成相應(yīng)的服裝樣式，還能生成不同類型的材料，包括羊毛、蕾絲、絲綢等布料，并添加真實(shí)的物理光照幫助設(shè)計(jì)人員查看不同場景下的效果。

　　該模型可幫助VR、AR、影視、游戲開發(fā)、電商平臺等領(lǐng)域的設(shè)計(jì)人員加速3D內(nèi)容的開發(fā)效率。

　　SewingGPT

　　SewingGPT是DressCode的核心模塊之一，基于Transformer架構(gòu)主要用于提示文本語義理解和生成。

　　為了使DressCode能夠生成服裝圖案，研究人員采用了一種新穎的量化過程，將裁剪圖案轉(zhuǎn)化為tokens序列，并使用僅包含解碼器的Transformer模型進(jìn)行tokens預(yù)測，以增強(qiáng)生成內(nèi)容的準(zhǔn)確性。

　　當(dāng)SewingGPT接收到一段文本描述，例如，設(shè)計(jì)一款夏季棉質(zhì)連衣裙，V領(lǐng)，腰部有褶皺設(shè)計(jì)，裙擺為A字形。會通過Transformer解析這段描述中的關(guān)鍵提示詞、夏季、棉質(zhì)、V領(lǐng)、褶皺等以及它們之間的語義關(guān)系，幫助模型準(zhǔn)確地捕捉到服裝每個模塊之間的細(xì)微差別。

　　在理解提示文本語義之后，SewingGPT會生成一組結(jié)構(gòu)化指令。這些指令不僅包括服裝的外觀特征，還包括具體的裁剪方式、縫合順序、特定部位的處理技巧。

　　例如，上面所提到的連衣裙文本描述，SewingGPT可能生成指令指出V領(lǐng)的具體尺寸和弧度、褶皺的數(shù)量和分布模式、A字裙擺的展開角度等。這確保了設(shè)計(jì)的可實(shí)施性，即便在高度定制化的設(shè)計(jì)中也能保持精確。隨后，這些指令被送到3D建模引擎并結(jié)合面料物理屬性數(shù)據(jù)庫進(jìn)行建模。

　　SewingGPT還提供了一個循環(huán)反饋機(jī)制，允許用戶對生成的初步3D模型進(jìn)行效果評估，并提出修改意見，幫助模型進(jìn)行自動迭代。

　　渲染與展示模塊

　　在接收到結(jié)構(gòu)化指令后，渲染模塊會進(jìn)一步分析文本提示詞中的分析材質(zhì)和紋理的關(guān)鍵詞匯區(qū)別，麗日，光滑的絲綢、粗糙的牛仔布、柔軟的羊毛等，并將這些文本描述映射到材質(zhì)庫中的對應(yīng)材料中。

　　材料庫中的每種材質(zhì)均被詳盡記錄屬性，反射率、透光度、彈性、摩擦系數(shù)等以及微觀結(jié)構(gòu)特征，這些數(shù)據(jù)可以使得渲染出來的3D服務(wù)模型更加逼真符合實(shí)際要求。

　　為了確保3D服裝在運(yùn)動狀態(tài)下的自然垂墜與動態(tài)效果，DressCode集成了高級的布料動力學(xué)算法。這些算法基于物理模擬，能夠精確計(jì)算布料與服裝內(nèi)部結(jié)構(gòu)之間的相互作用，如褶皺形成、擺動、拉伸等，使服裝在虛擬模特走動或旋轉(zhuǎn)時的表現(xiàn)與真實(shí)服裝幾乎一樣。

　　此外，為了更好地展示3D模型，DressCode提供了豐富的可定制虛擬模特，涵蓋不同體型、膚色和風(fēng)格，以適應(yīng)多樣化的設(shè)計(jì)需求。同時，內(nèi)置的動作庫支持從靜態(tài)展示到復(fù)雜走秀動作的設(shè)置，使用戶能夠全方位評估服裝的動態(tài)表現(xiàn)和穿著效果。

　　所有預(yù)覽都是可視化操作，用戶可以通過簡單的操作旋轉(zhuǎn)、縮放、平移3D模型，從多個角度審視服裝細(xì)節(jié)，這對于那些非專業(yè)設(shè)計(jì)人員來說非常有幫助。