即時3D搜索技術(shù)OVIR-3D開源 可從文本提示中檢索3D對象

　　11月10日 消息:OVIR-3D是一個開放詞匯的3D實例檢索系統(tǒng)，它以直觀而有效的方式解決了在沒有對3D數(shù)據(jù)進行訓(xùn)練的情況下獲取3D實例的問題。該系統(tǒng)通過語言引導(dǎo)的2D區(qū)域提議進行3D融合，為機器人應(yīng)用(如操縱和導(dǎo)航)提供了解決方案。OVIR-3D的核心思想是直接訓(xùn)練開放詞匯的3D分割模型在實踐中變得困難，因此它從語言引導(dǎo)的2D區(qū)域提議出發(fā)，通過在大量2D數(shù)據(jù)集上進行訓(xùn)練，將2D實例信息在3D空間中投影和融合，以實現(xiàn)快速檢索。

　　OVIR-3D的使用包括下載倉庫、安裝依賴、演示、數(shù)據(jù)集準(zhǔn)備、2D到3D融合和推理等多個步驟。作者提供了詳細的使用說明，包括如何獲取倉庫、安裝依賴以及演示過程。此外，系統(tǒng)支持自定義數(shù)據(jù)集的準(zhǔn)備，通過開源的實感相機和KinectFusion實現(xiàn)，用戶能夠以指定格式錄制和重建自定義3D場景。

　　在OVIR-3D的背后，Detic作為2D區(qū)域提議網(wǎng)絡(luò)的骨干，通過查詢Imagenet21k的所有類別，生成置信度閾值為0.3的輸出蒙版和文本對齊特征。這一步驟的輸出被存儲在特定文件夾中，用戶可以選擇保存2D可視化，盡管這可能會降低推理速度。

　　對于2D到3D的融合，OVIR-3D提供了一種算法來處理多個3D場景的并行融合，但作者建議至少擁有11GB內(nèi)存的顯卡以避免在處理大場景時出現(xiàn)內(nèi)存問題。一旦融合完成，用戶可以通過instance_query.py腳本與系統(tǒng)進行交互，檢索3D實例。

　　論文中提到OVIR-3D作為開放詞匯問題的一個解決方案，強調(diào)其評估方式采用信息檢索標(biāo)準(zhǔn)mAP，這是一種更合理的度量方式，盡管略有不同于通常用于封閉集實例分割的mAP度量。文章還提到了OVIR-3D的應(yīng)用前景，以及后續(xù)工作OVSG的介紹，該工作在OVIR-3D的基礎(chǔ)上構(gòu)建3D場景圖，實現(xiàn)更精準(zhǔn)的對象檢索。