杰克遜跳舞秒變3D機(jī)器人！阿里又出新活兒 視頻任何人可替換

　　人形機(jī)器人跳舞復(fù)刻杰克遜，竟一點(diǎn)不遜色??

　　這究竟是怎么回事?

　　原來啊，阿里又整出新活兒——

　　MotionShop，能將視頻中的人物角色替換成3D形象，同時(shí)又不改變其他場景和人物。

　　看到這有人已經(jīng)迫不及待了。目前已在ModelScope社區(qū)開放試玩。

　　還有人建議說在HuggingFace也安排一下，不然不懂中文的人怎么辦啊~

　　不過確實(shí)承認(rèn)，最近阿里的花活好多。

　　可免費(fèi)試玩

　　目前MotionShop可以免費(fèi)試玩，只需三步即可完成：

　　上傳視頻——確定目標(biāo)對象——選擇要替換的虛擬對象。

　　不過實(shí)測的時(shí)候發(fā)現(xiàn)，需要注意幾點(diǎn)。

　　首先上傳這個(gè)視頻，不能超過15秒，最好保證人物完整，而且也不能是剪輯而成。

　　換句話說，需要一鏡到底，切換鏡頭就不行。

　　隨后選擇替換人物時(shí)，它會自動選擇一個(gè)對象，然后看是否符合你的目標(biāo)對象。

　　目前可替換的虛擬形象只有四個(gè)。

　　最后就是比較漫長的排隊(duì)等待時(shí)間……試用的人太多了吧。

　　如何實(shí)現(xiàn)？

　　來自阿里的研究團(tuán)隊(duì)提出了用3D人物替換視頻中角色的框架。

　　整個(gè)框架由兩部分組成：

　　1、用于提取修復(fù)背景視頻序列的視頻處理管線;

　　2、用于生成3D人物視頻的序列的姿態(tài)估計(jì)和渲染管線。

　　通過并行兩條管線并使用高性能的光線追蹤渲染器TIDE，整個(gè)過程能在

　　具體分為七個(gè)步驟。

　　第一步，角色檢測。使用基于Transformer融合文本信息與現(xiàn)有封閉集檢測器，實(shí)現(xiàn)零樣本對象檢測。通過優(yōu)勢選擇方法確定最終目標(biāo)區(qū)域。

　　第二步，分割與追蹤。成功檢測到目標(biāo)后，通過視頻對象分割跟蹤方法來像素級跟蹤目標(biāo)區(qū)域，這一方法是基于SAM模型的細(xì)化升級。

　　第三步，修補(bǔ)。視頻剩下區(qū)域進(jìn)行修補(bǔ)繪制。包括采用了遞歸流完成法來恢復(fù)損壞的流場，在圖像域和特征域都采用了雙域傳播法來增強(qiáng)全局和局部的時(shí)間一致性。

　　第四步，姿態(tài)估計(jì)。采用姿態(tài)估計(jì)方法 CVFFS 來估計(jì)穩(wěn)定的人體姿態(tài)。使用 SMPL 人體模型來表示三維人體。

　　第五步，3D人物生成。將估算出的形狀和姿勢重新映射到選定的三維模型上。

　　第六步，為了更自然真實(shí)的視覺效果，做進(jìn)一步光線處理和渲染，讓3D模型與原視頻更融入。比如使用TIDE引擎來渲染新的 3D 模型。它與精確的材質(zhì)系統(tǒng)相結(jié)合，并輔以運(yùn)動模糊、時(shí)間抗鋸齒和時(shí)間去噪等算法。

　　最后，將渲染圖像與原始視頻合成，生成最終視頻。