Cutie是一種用于自動識別和追蹤視頻中特定物體的技術。它具有高級的對象理解能力,可以識別整個物體的形狀和特性,而不僅僅是像素級的信息。同時,它還能夠精確地將目標物體從背景物體中分離出來。
無論在復雜場景中還是在有多個物體和復雜背景的視頻中,Cutie都可以準確地進行對象分割。雖然功能強大,但它的運行速度也相當快,適用于需要實時處理的應用場景。
Cutie的工作原理如下:首先,在視頻的第一幀中,Cutie會找到并記住你想跟蹤的物體的位置和形狀。然后,它會存儲物體的詳細像素信息,就像給物體拍了一張身份證照片。
當視頻繼續(xù)播放時,Cutie會使用之前記住的信息快速找到物體,并用存儲的詳細信息來精確確認物體的位置和形狀。Cutie同時使用粗略特征和詳細信息,所以它能在視頻中快速而準確地找到并跟蹤物體。這樣,無論物體如何移動或變化,Cutie都能準確地追蹤它,這在安全監(jiān)控、自動駕駛車輛或醫(yī)學研究等領域非常有用。
Cutie主要采用了對象級別的內存讀取能力。與傳統(tǒng)的像素級內存讀取方法不同,Cutie使用一種自上而下的對象級內存讀取方式,這可以提高在復雜數據集上的性能。Cutie使用對象變換器與底層像素特征進行交互,這些對象變換器作為目標對象的高級摘要,而高分辨率的特征圖用于精確的分割。
此外,Cutie還引入了前景-背景掩碼注意力機制,使得部分對象查詢只關注前景,其余部分只關注背景,從而更清晰地分離前景對象和背景的語義。除了像素內存外,Cutie還引入了一個緊湊的對象內存,用于總結目標對象的特征,從而實現(xiàn)了目標對象的有效長期表示。
在實際評估中,使用MOSE標準測試,Cutie的性能比XMem方法提高了8.7分。與DeAOT方法相比,Cutie獲得了4.2分的高分,并且處理速度比DeAOT快三倍。
文章內容僅供閱讀,不構成投資建議,請謹慎對待。投資者據此操作,風險自擔。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術、產品設計及應用方面的創(chuàng)新變革,全球領先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產品設計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術和新品亮相,以敢為精神勇闖技術無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導,由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。