上�？拼蟮乳_源創(chuàng)新模型：文本生成精美3D服裝

　　上海科技大學、賓夕法尼亞大學、Deemos科技和NeuDim科技的研究人員聯(lián)合推出了一個創(chuàng)新模型DressCode。

　　用戶通過DressCode只需要輸入文本就能生成各種精美的3D服裝模型，例如，一件法式蕾絲邊的連衣裙;紅色絲綢的睡衣等。

　　DressCode不僅能根據(jù)提示文本生成相應的服裝樣式，還能生成不同類型的材料，包括羊毛、蕾絲、絲綢等布料，并添加真實的物理光照幫助設計人員查看不同場景下的效果。

　　該模型可幫助VR、AR、影視、游戲開發(fā)、電商平臺等領域的設計人員加速3D內(nèi)容的開發(fā)效率。

　　SewingGPT

　　SewingGPT是DressCode的核心模塊之一，基于Transformer架構(gòu)主要用于提示文本語義理解和生成。

　　為了使DressCode能夠生成服裝圖案，研究人員采用了一種新穎的量化過程，將裁剪圖案轉(zhuǎn)化為tokens序列，并使用僅包含解碼器的Transformer模型進行tokens預測，以增強生成內(nèi)容的準確性。

　　當SewingGPT接收到一段文本描述，例如，設計一款夏季棉質(zhì)連衣裙，V領，腰部有褶皺設計，裙擺為A字形。會通過Transformer解析這段描述中的關(guān)鍵提示詞、夏季、棉質(zhì)、V領、褶皺等以及它們之間的語義關(guān)系，幫助模型準確地捕捉到服裝每個模塊之間的細微差別。

　　在理解提示文本語義之后，SewingGPT會生成一組結(jié)構(gòu)化指令。這些指令不僅包括服裝的外觀特征，還包括具體的裁剪方式、縫合順序、特定部位的處理技巧。

　　例如，上面所提到的連衣裙文本描述，SewingGPT可能生成指令指出V領的具體尺寸和弧度、褶皺的數(shù)量和分布模式、A字裙擺的展開角度等。這確保了設計的可實施性，即便在高度定制化的設計中也能保持精確。隨后，這些指令被送到3D建模引擎并結(jié)合面料物理屬性數(shù)據(jù)庫進行建模。

　　SewingGPT還提供了一個循環(huán)反饋機制，允許用戶對生成的初步3D模型進行效果評估，并提出修改意見，幫助模型進行自動迭代。

　　渲染與展示模塊

　　在接收到結(jié)構(gòu)化指令后，渲染模塊會進一步分析文本提示詞中的分析材質(zhì)和紋理的關(guān)鍵詞匯區(qū)別，麗日，光滑的絲綢、粗糙的牛仔布、柔軟的羊毛等，并將這些文本描述映射到材質(zhì)庫中的對應材料中。

　　材料庫中的每種材質(zhì)均被詳盡記錄屬性，反射率、透光度、彈性、摩擦系數(shù)等以及微觀結(jié)構(gòu)特征，這些數(shù)據(jù)可以使得渲染出來的3D服務模型更加逼真符合實際要求。

　　為了確保3D服裝在運動狀態(tài)下的自然垂墜與動態(tài)效果，DressCode集成了高級的布料動力學算法。這些算法基于物理模擬，能夠精確計算布料與服裝內(nèi)部結(jié)構(gòu)之間的相互作用，如褶皺形成、擺動、拉伸等，使服裝在虛擬模特走動或旋轉(zhuǎn)時的表現(xiàn)與真實服裝幾乎一樣。

　　此外，為了更好地展示3D模型，DressCode提供了豐富的可定制虛擬模特，涵蓋不同體型、膚色和風格，以適應多樣化的設計需求。同時，內(nèi)置的動作庫支持從靜態(tài)展示到復雜走秀動作的設置，使用戶能夠全方位評估服裝的動態(tài)表現(xiàn)和穿著效果。

　　所有預覽都是可視化操作，用戶可以通過簡單的操作旋轉(zhuǎn)、縮放、平移3D模型，從多個角度審視服裝細節(jié)，這對于那些非專業(yè)設計人員來說非常有幫助。