零下25℃如何取暖?海爾水暖通溫暖驛站亮相冰雪大世界馬太效應(yīng),強者恒強?——《中國企業(yè)科創(chuàng)力研究報告(2024)》美團年度報告竟然用上了AI和短劇?這下是真出圈了消息稱上汽大眾正開發(fā)三款新車,技術(shù)分別來自小鵬、智己和榮威鴻蒙智行泊車代駕VPD正式開啟全量推送!升級自動泊車/接駕等多項功能華為官方翻新手機最高降價4000元曝蘋果研發(fā)帶Face ID的智能家居門鈴:內(nèi)置自研W-Fi芯片李斌回應(yīng)螢火蟲外觀設(shè)計:看過實車的人都喜歡這個設(shè)計林杰:未來 A 級、A0 級、A00 級車型都將是領(lǐng)克純電的“主場”豐巢存包柜亮相南寧地鐵站,助力城市韌性建設(shè)與智慧出行萬象分區(qū)、絢彩XDR、量子點Pro 2025齊出手,TCL引領(lǐng)觀影體驗新變革!QQ音樂年度聽歌報告發(fā)布:誰是你最喜歡的歌手?OpenAI正式發(fā)布o3 - 通往AGI的路上,已經(jīng)沒有了任何阻礙「送禮物」難撬動社交電商,微信小店缺的是供給微軟Phi-4封神,14B小模型數(shù)學(xué)擊敗GPT-4o,合成數(shù)據(jù)占比40%,36頁技術(shù)報告出爐2024年結(jié)束,哪里是原創(chuàng)動畫的應(yīng)許之地?深扒一個正被游戲行業(yè)「搶占」的流量帝國百思買重新進軍跨境電商領(lǐng)域視頻生成大模型賽道,只是看上去擁擠GGII:預(yù)計2024年中國工業(yè)機器人全年銷量約30萬臺,同比下滑5%左右
  • 首頁 > 云計算頻道 > 大模型

    自研多模態(tài)追蹤算法,PICO 為「手柄小型化」找到新思路

    2023年09月21日 14:28:24   來源:中文科技資訊

      9月21日,PICO展示近期遭泄露的新手柄,并對外發(fā)布了其自研的Centaur多模態(tài)融合追蹤算法。

     

      如前期諜照所示,PICO新手柄去掉了外圍燈環(huán)的設(shè)計,并且沒有額外增加傳感器。據(jù)PICO官方透露,相比上一代手柄,新手柄重量減輕了約15g,高度減小了50%,并且還優(yōu)化了內(nèi)部電池和馬達的位置,使其重心更靠近手心,握持手感更好,且兼具細膩振感。

      通常,去掉包含LED燈的追蹤燈環(huán),勢必會降低手柄的追蹤精度和穩(wěn)定性。而PICO全新自研的Centaur多模態(tài)融合算法,融合了光學(xué)追蹤算法和CV模態(tài)手柄追蹤算法,讓手柄在LED燈減少或處于盲區(qū)的背景下,也能實時、有效追蹤。

      自研Centaur多模態(tài)融合追蹤算法

      VR設(shè)備的輕量化和小型化,一直是XR行業(yè)探索和努力的方向。

      基于當前行業(yè)主流的“光學(xué)追蹤+慣性導(dǎo)航系統(tǒng)”追蹤方案,開發(fā)無燈環(huán)手柄會面臨兩大技術(shù)難點:首先,減少LED燈的數(shù)量,會影響光學(xué)追蹤的穩(wěn)定性;其次,更少的LED觀測數(shù)量,會增大手柄初始化與追蹤解算難度。但如果在手柄上增加新的傳感器,這又會提升造價成本,并增加手柄的耗電速率。

      *PICO 4系列手柄與PICO 全新研發(fā)的無燈環(huán)手柄

      PICO全新自研的Centaur多模態(tài)融合追蹤算法,將光學(xué)追蹤算法和CV模態(tài)手柄追蹤算法進行了有效融合。這不僅解決了無燈環(huán)手柄「識別難」的問題,也為XR行業(yè)的追蹤交互提供了新的思路。頭顯既能通過光學(xué)追蹤算法識別手柄上LED燈發(fā)出的紅外光,還能夠在LED燈被手部遮擋時,通過CV模態(tài)追蹤算法識別裸手的特征,從而準確還原出手柄控制器的6DoF信息。兩大算法結(jié)合手柄本身具備的慣性導(dǎo)航系統(tǒng),使得新手柄無需增加新的傳感器,也能實現(xiàn)穩(wěn)定、精準的追蹤。

      創(chuàng)新技術(shù)研發(fā)思路

      為了率先實現(xiàn)Centaur多模態(tài)追蹤算法的產(chǎn)品化,PICO組建了跨部門的攻關(guān)小組,包括手柄追蹤算法團隊、裸手追蹤算法團隊和交互數(shù)據(jù)團隊。經(jīng)過多次論證后,最終實現(xiàn)了一套基于神經(jīng)網(wǎng)絡(luò)的多模態(tài)手柄追蹤框架,其融合了慣性測量單元(IMU)、光學(xué)傳感器和手部圖像信息。

      * PICO Centaur多模態(tài)融合算法 模型

      在框架設(shè)計中,手柄追蹤算法團隊負責提升光學(xué)追蹤的穩(wěn)定性,并搭建算法框架;裸手追蹤算法團隊設(shè)計了SOTA端到端的6DoF位姿估計模型,提升手部追蹤的穩(wěn)定性;而交互數(shù)據(jù)團隊則通過自研多源三維數(shù)據(jù)采集設(shè)備與高精重建算法,提供大量標注數(shù)據(jù)。

      這樣的追蹤系統(tǒng),不僅能基于紅外 LED 實現(xiàn)高精度追蹤,還能夠利用裸手檢測“隔山打牛”。為了驗證效果,PICO還聯(lián)合極客玩家進行了極限測試,在音游、游動健身等對追蹤精度要求極高的場景下,該算法的追蹤效果都可媲美PICO 4的HyperSense振感手柄。

      搭建全方位自研體系

      PICO Centuar多模態(tài)追蹤算法的推出,得益于PICO在兩大核心算法上的技術(shù)積累。PICO Neo3和PICO 4兩代產(chǎn)品的打磨,幫助PICO 在光學(xué)追蹤領(lǐng)域積累了扎實的技術(shù)。與此同時,PICO 在裸手追蹤上也持續(xù)探索,相關(guān)技術(shù)已位列全球第一梯隊。PICO通過不斷優(yōu)化端到端的時序模型、千萬級高精訓(xùn)練集以及MTP延遲測試方案,在算法延遲與追蹤丟失率方面實現(xiàn)技術(shù)突破,在游戲、運動等快速甩動手柄的場景下,給用戶帶來流暢且穩(wěn)定的體驗。

      而這些技術(shù)創(chuàng)新背后,是PICO獨立自研的高精度數(shù)據(jù)平臺,以及專業(yè)的測試平臺。

      比如為了生產(chǎn)更符合開發(fā)需求的高精度裸手姿態(tài)數(shù)據(jù),PICO一方面采用了業(yè)內(nèi)領(lǐng)先的基于相機陣列的自研多視角手部姿態(tài)標注技術(shù),另一方面針對該特定任務(wù)進行預(yù)重建,進一步提升手部姿態(tài)數(shù)據(jù)的精度。這無疑為算法的訓(xùn)練,提供了強大的支撐和助力。

      *PICO多模態(tài)同步相機系統(tǒng) 采集高精度數(shù)據(jù)

      近期,PICO交互數(shù)據(jù)實驗室團隊的研究發(fā)現(xiàn),被國際頂級會議ICCV 2023成功收錄,包含了一篇Oral論文和三篇會議論文。這些涉及高效數(shù)據(jù)獲取、高精度數(shù)據(jù)標注、數(shù)據(jù)應(yīng)用等方面的實踐研究,也代表了國際計算機視覺領(lǐng)域的最新成果。

      *PICO交互數(shù)據(jù)實驗室的研究成果,被國際頂級會議ICCV 2023收錄

      作為全球領(lǐng)先的XR品牌,PICO 憑借前瞻性的技術(shù)意識和充分的技術(shù)積累,創(chuàng)新研發(fā)了多模態(tài)的融合追蹤算法,為行業(yè)AI交互提供了全新思路,也進一步助推了手柄的輕量化,為用戶提供更符合人體工學(xué),且兼具細膩振感的交互體驗。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風(fēng)險自擔。

    [No. S015-2]
    分享到微信

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。

    3C消費

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標識解析專題論壇在沈陽成功舉辦。