在線視頻實(shí)例分割技術(shù)TCOVIS 可保持時間一致性

　　研究人員介紹了一種名為TCOVIS的在線視頻實(shí)例分割技術(shù)，該技術(shù)注重時間一致性。實(shí)例分割是計算機(jī)視覺領(lǐng)域的一個熱門研究課題，其目標(biāo)是將視頻幀中的每個獨(dú)立實(shí)例進(jìn)行識別和分割。

　　TCOVIS的核心創(chuàng)新在于提出了一個時序一致性模塊。視頻實(shí)例分割是一個非常具有挑戰(zhàn)性的任務(wù)，因?yàn)樾枰獙γ恳粠瑘D像進(jìn)行語義分割，同時跟蹤并關(guān)聯(lián)各幀之間的目標(biāo)實(shí)例。但是由于各幀之間存在遮擋、形變等問題，使得直接應(yīng)用圖片實(shí)例分割模型往往無法獲得時序一致和連續(xù)的結(jié)果。

　　TCOVIS通過構(gòu)建一個記憶模塊來實(shí)現(xiàn)時序一致性。該模塊存儲歷史幀的特征，并與當(dāng)前幀建立匹配，從而關(guān)聯(lián)當(dāng)前幀與之前幀之間的同一實(shí)例。 Memory模塊采用字典學(xué)習(xí)的策略，以降低存儲和搜索時間成本。同時，TCOVIS還設(shè)計了在線訓(xùn)練和模型自監(jiān)督策略，使框架能夠適應(yīng)視頻中新出現(xiàn)的實(shí)例，實(shí)現(xiàn)真正的在線逐幀分割。

　　經(jīng)過實(shí)驗(yàn)驗(yàn)證，TCOVIS相比其他主流方法，能夠取得更好的時間一致性指標(biāo)，同時保持與SOTA方法相當(dāng)?shù)姆指罹�度。該框架可以部署在資源受限的邊緣設(shè)備上，實(shí)現(xiàn)實(shí)時高質(zhì)量的視頻實(shí)例分割。