解決Sora物理bug！四所美國(guó)頂尖高校聯(lián)合發(fā)布PhysDreamer模型

　　Sora視頻生成器發(fā)布后不久，就被網(wǎng)友發(fā)現(xiàn)存在物理交互的bug，例如模型對(duì)物理世界的理解不足，導(dǎo)致小狗走路時(shí)前腿出現(xiàn)不自然的交錯(cuò)問題。為了解決這一問題，提升視頻生成的真實(shí)感，來自MIT、斯坦福大學(xué)、哥倫比亞大學(xué)和康奈爾大學(xué)的研究人員聯(lián)合提出了一種基于物理的方法模型——PhysDreamer。

　　PhysDreamer利用視頻生成模型學(xué)習(xí)到的對(duì)象動(dòng)力學(xué)先驗(yàn)，為靜態(tài)3D對(duì)象賦予交互式動(dòng)力學(xué)。通過提煉這些先驗(yàn)知識(shí)，PhysDreamer能夠合成現(xiàn)實(shí)物體對(duì)全新交互的響應(yīng)，如外力或智能體操作，并在彈性物體的不同示例上展現(xiàn)了該方法的效果。

　　問題形式化

　　PhysDreamer的目標(biāo)是估計(jì)對(duì)象的物理材料屬性場(chǎng)，以實(shí)現(xiàn)真實(shí)的交互式運(yùn)動(dòng)合成。具體來說，就是估計(jì)3D物體的空間變化楊氏模量場(chǎng)E(x)，以進(jìn)行粒子模擬。楊氏模量用來測(cè)量材料的剛度，決定物體響應(yīng)外力作用的運(yùn)動(dòng)軌跡。

　　模型架構(gòu)

　　PhysDreamer通過生成運(yùn)動(dòng)中物體的可信視頻，然后優(yōu)化材料場(chǎng)E(x)以匹配合成運(yùn)動(dòng)。給定一個(gè)表示為3D高斯的對(duì)象，首先從某個(gè)視點(diǎn)進(jìn)行渲染，然后使用圖像到視頻生成模型來生成運(yùn)動(dòng)中物體的參考視頻。接著，使用可微分材質(zhì)點(diǎn)方法(MPM)和可微分渲染，對(duì)空間變化的材質(zhì)場(chǎng)和初始速度場(chǎng)進(jìn)行優(yōu)化，旨在最小化渲染視頻和參考視頻之間的差異。

　　實(shí)驗(yàn)結(jié)果

　　研究人員收集了八個(gè)真實(shí)世界的靜態(tài)場(chǎng)景，并捕捉了四個(gè)交互視頻來說明其在交互后的自然運(yùn)動(dòng)。在用戶研究中，超過80%的參與者在兩項(xiàng)選擇實(shí)驗(yàn)中更傾向于PhysDreamer模型，認(rèn)為其在運(yùn)動(dòng)的真實(shí)性上更勝一籌;在視覺質(zhì)量方面，也有65%的參與者更偏好PhysDreamer。

　　PhysDreamer模型的發(fā)布，為解決視頻生成中的物理交互問題提供了一種有效的解決方案。通過估計(jì)物體的物理材料屬性，PhysDreamer能夠合成更加逼真的物體動(dòng)態(tài)行為，顯著提升了視頻生成的真實(shí)感。這一研究成果有望推動(dòng)視頻生成技術(shù)的發(fā)展，為未來的應(yīng)用帶來更多可能性。