行業(yè)唯一!海爾熱聲熱泵技術(shù)獲全國顛覆性技術(shù)創(chuàng)新大賽最高獎OPPO A5 Pro首創(chuàng)獵手天線架構(gòu):信號能穿十堵墻一加 Ace 5 Pro首發(fā)電競Wi-Fi芯片G1 帶來「穿墻王」和「搶網(wǎng)王」般的網(wǎng)絡(luò)體驗電視市場又出黑馬!TCL同檔Mini LED音畫王P12K,萬象分區(qū)打造超強控光!零下25℃如何取暖?海爾水暖通溫暖驛站亮相冰雪大世界馬太效應(yīng),強者恒強?——《中國企業(yè)科創(chuàng)力研究報告(2024)》美團年度報告竟然用上了AI和短?這下是真出圈了消息稱上汽大眾正開發(fā)三款新車,技術(shù)分別來自小鵬、智己和榮威鴻蒙智行泊車代駕VPD正式開啟全量推送!升級自動泊車/接駕等多項功能華為官方翻新手機最高降價4000元曝蘋果研發(fā)帶Face ID的智能家居門鈴:內(nèi)置自研W-Fi芯片李斌回應(yīng)螢火蟲外觀設(shè)計:看過實車的人都喜歡這個設(shè)計林杰:未來 A 級、A0 級、A00 級車型都將是領(lǐng)克純電的“主場”豐巢存包柜亮相南寧地鐵站,助力城市韌性建設(shè)與智慧出行萬象分區(qū)、絢彩XDR、量子點Pro 2025齊出手,TCL引領(lǐng)觀影體驗新變革!QQ音樂年度聽歌報告發(fā)布:誰是你最喜歡的歌手?OpenAI正式發(fā)布o(jì)3 - 通往AGI的路上,已經(jīng)沒有了任何阻礙「送禮物」難撬動社交電商,微信小店缺的是供給微軟Phi-4封神,14B小模型數(shù)學(xué)擊敗GPT-4o,合成數(shù)據(jù)占比40%,36頁技術(shù)報告出爐2024年結(jié)束,哪里是原創(chuàng)動畫的應(yīng)許之地?
  • 首頁 > 云計算頻道 > 大模型

    多視角高斯模型LGM:5秒產(chǎn)出高質(zhì)量3D物體 支持圖文到3D

    2024年02月20日 15:16:54   來源:站長之家

      近期,由北京大學(xué)、南洋理工大學(xué) S-Lab 和上海人工智能實驗室聯(lián)合研究的團隊推出的大型多視角高斯模型(LGM)引起廣泛關(guān)注。

      LGM 以其核心模塊 Large Multi-View Gaussian Model 為基礎(chǔ),采用了一種新穎的方法,能夠在僅5秒的時間內(nèi)從單一視角圖片或文本輸入中生成高分辨率高質(zhì)量的3D物體。該模型的技術(shù)亮點在于使用了高效輕量的非對稱 U-Net 作為骨干網(wǎng)絡(luò),直接從四個視角的圖片中預(yù)測高分辨率的高斯基元,并通過可微渲染技術(shù)呈現(xiàn)出任意視角下的3D效果。

      在技術(shù)層面,LGM 解決了有限計算量下高效3D表征和高分辨率下的三維骨干生成網(wǎng)絡(luò)的兩大挑戰(zhàn)。具體而言,它通過在低分辨率的特征圖上使用跨視角的自注意力機制,實現(xiàn)了不同視角之間的相關(guān)性建模,同時保持了較低的計算開銷。此外,為了訓(xùn)練階段和推理階段之間的數(shù)據(jù)一致性,研究者還提出了基于網(wǎng)格畸變的數(shù)據(jù)增強策略,有效模擬了多視角不一致性。

      值得注意的是,在實現(xiàn)高分辨率下高效訓(xùn)練這類模型時,研究者克服了兩個主要問題。

      首先,通過基于 objaverse 數(shù)據(jù)集中渲染出的三維一致的多視角圖片進(jìn)行訓(xùn)練,然后在推理階段使用已有模型從文本或圖像中合成多視角圖片。為了解決多視角不一致的問題,文章提出了基于網(wǎng)格畸變的數(shù)據(jù)增強策略。

      其次,為了模擬推理階段生成的多視角圖片在相機視角三維幾何上的一致性,研究者對三個視角的相機位姿進(jìn)行了隨機擾動,增強了模型的穩(wěn)健性。

      訓(xùn)練完成后,LGM 不僅通過現(xiàn)有的圖像到多視角或者文本到多視角擴散模型實現(xiàn)了高質(zhì)量的 Text-to-3D 和 Image-to-3D 任務(wù),而且能夠在給定相同輸入文本或圖像的情況下生成多樣的高質(zhì)量三維模型。為了進(jìn)一步支持下游圖形學(xué)任務(wù),研究者還提出了一種高效的方法,將生成的高斯表征轉(zhuǎn)換為平滑且?guī)Ъy理的 Mesh。

      LGM 模型在3D內(nèi)容生成領(lǐng)域的性能和創(chuàng)新引起了廣泛關(guān)注。其開源精神以及提供的在線 Demo 進(jìn)一步促進(jìn)了對該模型的實際應(yīng)用和探索。

      LGM產(chǎn)品特色:

      1. 高分辨率生成:

      - LGM專注于從文本提示或單視圖圖像生成高分辨率的3D模型。

      - 通過引入多視圖高斯特征作為有效而強大的表示,能夠在訓(xùn)練期間提供不同可導(dǎo)渲染的高分辨率3D對象。

      2. 3D表示方法:

      - 使用多視圖高斯特征作為主要的3D表示方法。

      - 這種表示方法可以通過融合不同視圖的特征進(jìn)行可導(dǎo)渲染。

      3. 3D骨架結(jié)構(gòu):

      - 引入不對稱的U-Net作為高吞吐量的骨干結(jié)構(gòu)。

      - 該骨干結(jié)構(gòu)在多視圖圖像上操作,這些圖像可以通過利用多視圖擴散模型從文本或單視圖圖像輸入中產(chǎn)生。

      4. 快速生成速度:

      - 能夠在5秒內(nèi)生成3D對象,保持了快速生成速度。

      - 同時,在將訓(xùn)練分辨率提高到512的情況下,實現(xiàn)了高分辨率3D內(nèi)容生成。

      5. 多樣性生成:

      - 支持從圖像和文本兩種輸入方式生成3D對象,實現(xiàn)了圖文并茂的3D內(nèi)容創(chuàng)作。

      - 提供了多視圖的擴散模型,有助于增加生成的多樣性。

      總體而言,LGM通過創(chuàng)新的3D表示和骨干結(jié)構(gòu),以及高效的訓(xùn)練方法,實現(xiàn)了在高分辨率3D內(nèi)容生成方面的顯著進(jìn)展。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。