通用物體級(jí)基礎(chǔ)模型GLEE：增強(qiáng)圖像和視頻分析

　　近日，來(lái)自華中科技大學(xué)、字節(jié)跳動(dòng)和約翰斯·霍普金斯大學(xué)的研究人員推出了一款名為GLEE的全新通用物體級(jí)別基礎(chǔ)模型，為圖像和視頻分析帶來(lái)了全新的可能性。這一技術(shù)突破依賴深度學(xué)習(xí)的神奇，使計(jì)算機(jī)視覺(jué)系統(tǒng)能夠像虛擬偵探一樣，在數(shù)字體驗(yàn)的畫布上識(shí)別、跟蹤和理解各種物體。

　　GLEE的獨(dú)特之處在于其卓越的通用性，無(wú)需特定任務(wù)的適應(yīng)即可在各種任務(wù)中定位和識(shí)別物體。該模型集成了圖像編碼器、文本編碼器和視覺(jué)提示器，用于多模態(tài)輸入處理和廣義物體表示預(yù)測(cè)。通過(guò)在Objects365、COCO和Visual Genome等多樣化的數(shù)據(jù)集上進(jìn)行訓(xùn)練，GLEE采用統(tǒng)一框架，涵蓋檢測(cè)、分割、跟蹤、定位和識(shí)別開(kāi)放場(chǎng)景中的對(duì)象。

　　GLEE通過(guò)使用動(dòng)態(tài)類頭的MaskDINO以及相似性計(jì)算進(jìn)行預(yù)測(cè)的對(duì)象解碼器，經(jīng)過(guò)目標(biāo)檢測(cè)和實(shí)例分割的預(yù)訓(xùn)練，聯(lián)合訓(xùn)練實(shí)現(xiàn)了在各種圖像和視頻任務(wù)中的最先進(jìn)性能。不僅如此，GLEE還展現(xiàn)了卓越的靈活性和強(qiáng)大的泛化能力，有效應(yīng)對(duì)各種下游任務(wù)，無(wú)需特定任務(wù)的適應(yīng)。

　　該模型在對(duì)象檢測(cè)、實(shí)例分割、定位、多目標(biāo)跟蹤、視頻實(shí)例分割、視頻對(duì)象分割以及交互式分割和跟蹤等各種圖像和視頻任務(wù)中均表現(xiàn)卓越。甚至在與其他模型集成時(shí)，GLEE仍保持著最先進(jìn)性能，展示了其表示的多樣性和有效性。

　　除了在技術(shù)上的突破，GLEE在零樣本泛化方面也取得了顯著進(jìn)展，通過(guò)整合大量自動(dòng)標(biāo)記的數(shù)據(jù)進(jìn)一步提升了模型的性能。作為一種基礎(chǔ)模型，GLEE為當(dāng)前視覺(jué)基礎(chǔ)模型的局限性提供了創(chuàng)新性的解決方案，提供準(zhǔn)確而通用的物體級(jí)信息。

　　研究的未來(lái)方向聚焦在擴(kuò)展GLEE在處理復(fù)雜場(chǎng)景和具有長(zhǎng)尾分布的挑戰(zhàn)性數(shù)據(jù)集方面的能力上，以提高其適應(yīng)性。此外，研究人員還探索了在訓(xùn)練過(guò)程中使用廣泛的圖像-標(biāo)題對(duì)，類似于DALL-E模型，從而提高GLEE生成詳細(xì)圖像內(nèi)容的潛力。