自研多模態(tài)追蹤算法，PICO 為「手柄小型化」找到新思路

　　9月21日,PICO展示近期遭泄露的新手柄,并對外發(fā)布了其自研的Centaur多模態(tài)融合追蹤算法。

　　如前期諜照所示,PICO新手柄去掉了外圍燈環(huán)的設(shè)計,并且沒有額外增加傳感器。據(jù)PICO官方透露,相比上一代手柄,新手柄重量減輕了約15g,高度減小了50%,并且還優(yōu)化了內(nèi)部電池和馬達的位置,使其重心更靠近手心,握持手感更好,且兼具細膩振感。

　　通常,去掉包含LED燈的追蹤燈環(huán),勢必會降低手柄的追蹤精度和穩(wěn)定性。而PICO全新自研的Centaur多模態(tài)融合算法,融合了光學(xué)追蹤算法和CV模態(tài)手柄追蹤算法,讓手柄在LED燈減少或處于盲區(qū)的背景下,也能實時、有效追蹤。

　　自研Centaur多模態(tài)融合追蹤算法

　　VR設(shè)備的輕量化和小型化,一直是XR行業(yè)探索和努力的方向。

　　基于當(dāng)前行業(yè)主流的“光學(xué)追蹤+慣性導(dǎo)航系統(tǒng)”追蹤方案,開發(fā)無燈環(huán)手柄會面臨兩大技術(shù)難點:首先,減少LED燈的數(shù)量,會影響光學(xué)追蹤的穩(wěn)定性;其次,更少的LED觀測數(shù)量,會增大手柄初始化與追蹤解算難度。但如果在手柄上增加新的傳感器,這又會提升造價成本,并增加手柄的耗電速率。

　　*PICO 4系列手柄與PICO 全新研發(fā)的無燈環(huán)手柄

　　PICO全新自研的Centaur多模態(tài)融合追蹤算法,將光學(xué)追蹤算法和CV模態(tài)手柄追蹤算法進行了有效融合。這不僅解決了無燈環(huán)手柄「識別難」的問題,也為XR行業(yè)的追蹤交互提供了新的思路。頭顯既能通過光學(xué)追蹤算法識別手柄上LED燈發(fā)出的紅外光,還能夠在LED燈被手部遮擋時,通過CV模態(tài)追蹤算法識別裸手的特征,從而準確還原出手柄控制器的6DoF信息。兩大算法結(jié)合手柄本身具備的慣性導(dǎo)航系統(tǒng),使得新手柄無需增加新的傳感器,也能實現(xiàn)穩(wěn)定、精準的追蹤。

　　創(chuàng)新技術(shù)研發(fā)思路

　　為了率先實現(xiàn)Centaur多模態(tài)追蹤算法的產(chǎn)品化,PICO組建了跨部門的攻關(guān)小組,包括手柄追蹤算法團隊、裸手追蹤算法團隊和交互數(shù)據(jù)團隊。經(jīng)過多次論證后,最終實現(xiàn)了一套基于神經(jīng)網(wǎng)絡(luò)的多模態(tài)手柄追蹤框架,其融合了慣性測量單元(IMU)、光學(xué)傳感器和手部圖像信息。

　　* PICO Centaur多模態(tài)融合算法 模型

　　在框架設(shè)計中,手柄追蹤算法團隊負責(zé)提升光學(xué)追蹤的穩(wěn)定性,并搭建算法框架;裸手追蹤算法團隊設(shè)計了SOTA端到端的6DoF位姿估計模型,提升手部追蹤的穩(wěn)定性;而交互數(shù)據(jù)團隊則通過自研多源三維數(shù)據(jù)采集設(shè)備與高精重建算法,提供大量標注數(shù)據(jù)。

　　這樣的追蹤系統(tǒng),不僅能基于紅外 LED 實現(xiàn)高精度追蹤,還能夠利用裸手檢測“隔山打牛”。為了驗證效果,PICO還聯(lián)合極客玩家進行了極限測試,在音游、游動健身等對追蹤精度要求極高的場景下,該算法的追蹤效果都可媲美PICO 4的HyperSense振感手柄。

　　搭建全方位自研體系

　　PICO Centuar多模態(tài)追蹤算法的推出,得益于PICO在兩大核心算法上的技術(shù)積累。PICO Neo3和PICO 4兩代產(chǎn)品的打磨,幫助PICO 在光學(xué)追蹤領(lǐng)域積累了扎實的技術(shù)。與此同時,PICO 在裸手追蹤上也持續(xù)探索,相關(guān)技術(shù)已位列全球第一梯隊。PICO通過不斷優(yōu)化端到端的時序模型、千萬級高精訓(xùn)練集以及MTP延遲測試方案,在算法延遲與追蹤丟失率方面實現(xiàn)技術(shù)突破,在游戲、運動等快速甩動手柄的場景下,給用戶帶來流暢且穩(wěn)定的體驗。

　　而這些技術(shù)創(chuàng)新背后,是PICO獨立自研的高精度數(shù)據(jù)平臺,以及專業(yè)的測試平臺。

　　比如為了生產(chǎn)更符合開發(fā)需求的高精度裸手姿態(tài)數(shù)據(jù),PICO一方面采用了業(yè)內(nèi)領(lǐng)先的基于相機陣列的自研多視角手部姿態(tài)標注技術(shù),另一方面針對該特定任務(wù)進行預(yù)重建,進一步提升手部姿態(tài)數(shù)據(jù)的精度。這無疑為算法的訓(xùn)練,提供了強大的支撐和助力。

　　*PICO多模態(tài)同步相機系統(tǒng) 采集高精度數(shù)據(jù)

　　近期,PICO交互數(shù)據(jù)實驗室團隊的研究發(fā)現(xiàn),被國際頂級會議ICCV 2023成功收錄,包含了一篇Oral論文和三篇會議論文。這些涉及高效數(shù)據(jù)獲取、高精度數(shù)據(jù)標注、數(shù)據(jù)應(yīng)用等方面的實踐研究,也代表了國際計算機視覺領(lǐng)域的最新成果。

　　*PICO交互數(shù)據(jù)實驗室的研究成果,被國際頂級會議ICCV 2023收錄

　　作為全球領(lǐng)先的XR品牌,PICO 憑借前瞻性的技術(shù)意識和充分的技術(shù)積累,創(chuàng)新研發(fā)了多模態(tài)的融合追蹤算法,為行業(yè)AI交互提供了全新思路,也進一步助推了手柄的輕量化,為用戶提供更符合人體工學(xué),且兼具細膩振感的交互體驗。