IntrinsicAnything：調(diào)整圖片光照 保持物體材質(zhì)

　　在未知靜態(tài)照明條件下拍攝的姿勢圖像中恢復(fù)物體材質(zhì)是一項挑戰(zhàn)性任務(wù)。近期的研究通過神經(jīng)網(wǎng)絡(luò)表示材料，并通過基于物理的渲染優(yōu)化模型參數(shù)來解決這一問題。然而，由于物體幾何形狀、材質(zhì)和環(huán)境光照之間的耦合關(guān)系，導(dǎo)致逆渲染過程存在固有的模糊性，因此先前的方法難以獲得準(zhǔn)確結(jié)果。

　　為了克服這個問題，研究者提出了一種關(guān)鍵思想，即先通過生成模型學(xué)習(xí)材料，以規(guī)范優(yōu)化過程。他們發(fā)現(xiàn)一般渲染方程可分為漫反射和鏡面反射著色項，從而將材質(zhì)先驗轉(zhuǎn)化為反照率和鏡面反射的擴散模型。這種設(shè)計使得模型能夠利用豐富的3D 對象數(shù)據(jù)進(jìn)行訓(xùn)練，并有效解決從 RGB 圖像中恢復(fù)多種材質(zhì)表示時的歧義性。

　　此外，研究團隊還開發(fā)了一種從粗到精的訓(xùn)練策略，利用估計的材料指導(dǎo)擴散模型產(chǎn)生多視圖一致的約束，從而獲得更穩(wěn)定和準(zhǔn)確的結(jié)果。通過廣泛實驗驗證，他們的方法在材料回收方面取得了最先進(jìn)的性能，為物體材質(zhì)恢復(fù)領(lǐng)域帶來了新的突破。

　　產(chǎn)品特色功能亮點:

　　- 生成模型學(xué)習(xí)材料，規(guī)范優(yōu)化過程

　　- 模型基于漫反射和鏡面反射著色項，提高準(zhǔn)確性

　　- 采用從粗到精的訓(xùn)練策略，實現(xiàn)穩(wěn)定且準(zhǔn)確的材質(zhì)回收結(jié)果