• 首頁 > 云計算頻道 > 大模型

    Make-It-Vivid:通過文字描述生成3D卡通動畫角色

    2024年04月03日 10:49:47   來源:站長之家

      在創(chuàng)造生動的3D動畫角色時,面臨著這樣的挑戰(zhàn),除了要滿足特定領(lǐng)域的高要求比如角色需要有獨特風格和豐富細節(jié),還缺乏高質(zhì)量的數(shù)據(jù)支撐。現(xiàn)有方法通常無法生成具有豐富細節(jié),和過度自然的紋理,使得角色看起來不真實,不夠生動。

      因此,來自上海交通大學的海AI實驗室和清華大學的研究團隊,研究著眼于基于輸入指令為卡通角色自動生成紋理設(shè)計。為了解決領(lǐng)域特定需求和高質(zhì)量數(shù)據(jù)不足的挑戰(zhàn),他們提出了 “Make-It-Vivid” 方法,這是首次嘗試從文本中在 UV 空間生成高質(zhì)量紋理。

      這個框架能夠根據(jù)文本描述自動生成高質(zhì)量的3D紋理。該方法通過使用視覺問答代理生成了詳細的文本 - 紋理配對數(shù)據(jù),為3D 角色準備了數(shù)據(jù)。然后,他們定制了一個預訓練的文本到圖像模型,以模板結(jié)構(gòu)生成紋理地圖,同時保留自然的2D 圖像知識。此外,為了增強細粒度細節(jié),他們提出了一種新穎的對抗學習方案,縮短了原始數(shù)據(jù)集與真實紋理領(lǐng)域之間的域差。

      大量實驗證明,他們的方法優(yōu)于當前的紋理生成方法,實現(xiàn)了高效的角色紋理處理和根據(jù)提示生成忠實的結(jié)果。此外,他們展示了各種應(yīng)用,如域外生成和紋理風格化。他們還提供了一個高效的生成系統(tǒng),用于自動文本引導的紋理角色生成和動畫。

      這一方法接受一對數(shù)據(jù)作為輸入,包括一個紋理地圖、相應(yīng)的文本描述 P 和網(wǎng)格模型 M。他們對預訓練的文本到圖像擴散模型的低秩適配器∆θ 進行微調(diào),以生成高質(zhì)量 UV 紋理。為了提高合成紋理的質(zhì)量和感知保真度,他們引入了對抗訓練來增強紋理細節(jié)。他們利用由 ControlNet 生成的渲染深度條件的合成可信圖像作為指導,引導這種對抗性訓練。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。

    3C消費

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標識解析專題論壇在沈陽成功舉辦。