下單前先比價不花冤枉錢 同款圖書京東價低于抖音6折日媒感慨中國電動汽車/智駕遙遙領(lǐng)先:本田、日產(chǎn)、三菱合并也沒戲消委會吹風(fēng)機品質(zhì)檢測結(jié)果揭曉 徠芬獨占鰲頭 共話新質(zhì)營銷力,2024梅花數(shù)據(jù)峰會圓滿落幕索尼影像專業(yè)服務(wù) PRO Support 升級,成為會員至少需注冊 2 臺 α 全畫幅相機、3 支 G 大師鏡頭消息稱vivo加碼電池軍備競賽:6500mAh 旗艦機+7500mAh中端機寶馬M8雙門轎跑車明年年初將停產(chǎn),后續(xù)無2026款車型比亞迪:2025 款漢家族車型城市領(lǐng)航智駕功能開啟內(nèi)測雷神預(yù)告2025年首次出席CES 將發(fā)布三款不同技術(shù)原理智能眼鏡realme真我全球首發(fā)聯(lián)發(fā)科天璣 8400 耐玩戰(zhàn)神共創(chuàng)計劃iQOO Z9 Turbo長續(xù)航版手機被曝電池加大到6400mAh,搭驍龍 8s Gen 3處理器普及放緩 銷量大跌:曝保時捷將重新評估電動汽車計劃來京東參與榮耀Magic7 RSR 保時捷設(shè)計預(yù)售 享365天只換不修國補期間電視迎來換機潮,最暢銷MiniLED品牌花落誰家?美團旗下微信社群團購業(yè)務(wù)“團買買”宣布年底停運消息稱微軟正與第三方廠商洽談,試圖合作推出Xbox游戲掌機設(shè)備在海外,要再造一個京東物流?消息稱蘋果正為AirPods開發(fā)多項健康功能,包括心率監(jiān)測和溫度感應(yīng)一加 Ace 5系列將搭載全新游戲助手:大幅提升游戲體驗東芝全部業(yè)務(wù)實現(xiàn)盈利,退市裁員重組后終于賺錢
  • 首頁 > 產(chǎn)經(jīng)新聞頻道 > 科技資訊

    微軟專利探索提升HoloLens 2協(xié)作遠程用戶的沉浸式體驗

    2023年09月12日 11:12:08   來源:映維網(wǎng)

      諸如微軟HoloLens2這樣的混合現(xiàn)實可以為遠程用戶提供沉浸式第一視角,并通過語音和圖像疊加等方式來提供協(xié)作支持。這種系統(tǒng)可用于醫(yī)療,教學(xué)和維修維護等場景。隨著技術(shù)的發(fā)展,有必要進一步提高遠程用戶的沉浸感,營造一種允許遠程用戶仿佛置身于本地環(huán)境中的氛圍,從而進一步提高協(xié)作體驗。

      在名為”Mixed reality environment display using surface reconstruction mesh and live video overlay“的專利申請中,微軟介紹了一種用于支持遠程混合現(xiàn)實設(shè)備用戶結(jié)合3D表面重建(SR)網(wǎng)格數(shù)據(jù)和實時視頻數(shù)據(jù)來查看本地MR設(shè)備環(huán)境的方法。遠程用戶同時能夠向本地MR設(shè)備的用戶提供反饋,包括基于音頻的反饋。

      在一個實施例中,可以結(jié)合使用SR網(wǎng)格數(shù)據(jù)和攝影測量技術(shù)來生成與本地環(huán)境密切匹配的3D空間,然后將本地環(huán)境的實時視頻饋電疊加在生成的3D空間。這種混合虛擬現(xiàn)實體驗可以允許遠程用戶完全沉浸在相同的環(huán)境之中。

      另外,實時視頻饋送提供3D數(shù)據(jù),使得實時視頻饋送能夠緊密貼合虛擬環(huán)境的3D SR網(wǎng)格,而不僅僅是顯示二維視頻。

      圖1示出了配置為向遠程設(shè)備106提供實時視頻數(shù)據(jù)流118,以支持遠程位置的用戶能夠查看環(huán)境108的系統(tǒng)100。其中,本地MR設(shè)備102捕獲環(huán)境108的光學(xué)數(shù)據(jù),并通過網(wǎng)絡(luò)104將所獲得的數(shù)據(jù)流式傳輸給遠程MR設(shè)備106,遠程MR設(shè)備106使用所述流式數(shù)據(jù)向遠程用戶顯示表面重建(SR)網(wǎng)格環(huán)境顯示120。

      MR設(shè)備102包括攝像頭或其他光學(xué)捕獲接口或設(shè)備,并用于捕獲代表用戶正在查看的環(huán)境108中的區(qū)域的光學(xué)數(shù)據(jù)。MR設(shè)備102進一步包括深度傳感器,從而捕獲與光學(xué)數(shù)據(jù)相關(guān)聯(lián)的景深信息。在這樣的示例中,MR設(shè)備102使用景深信息來識別表面的相對位置并生成SR網(wǎng)格數(shù)據(jù)。

      遠程MR設(shè)備106包括以與上述本地MR設(shè)備102相同的方式配置的硬件、固件和/或軟件。MR設(shè)備106包括用于檢測位置、方向和/或移動的組件,例如一個或多個加速度計。

      在一個實施例中,環(huán)境108包括多個不同的表面。例如,環(huán)境108可以包括手術(shù)室。

      可以通過本地MR設(shè)備102捕獲環(huán)境108中表面的位置,捕獲與環(huán)境108相關(guān)的光學(xué)數(shù)據(jù)包括捕獲表面的位置、表面的位置、表面的紋理、表面的顏色、表面的攝影測量數(shù)據(jù)等。

      患者110和窗口區(qū)域112位于環(huán)境108中,并且患者110在整個手術(shù)或過程中趨向于保持靜止。當患者110在環(huán)境108中就位時,與患者110的表面相關(guān)聯(lián)的光學(xué)數(shù)據(jù)由本地MR設(shè)備102和/或其他光學(xué)捕獲組件捕獲。

      環(huán)境中的窗口區(qū)域112定義為捕獲實時視頻數(shù)據(jù)118并將其提供給遠程MR設(shè)備106的區(qū)域。窗口區(qū)域112可以是相對于患者110區(qū)域定義的靜態(tài)區(qū)域;蛘,窗口區(qū)域112可以是動態(tài)的,并且區(qū)域112位置可以由本地MR設(shè)備102的用戶、遠程MR設(shè)備106的用戶和/或另一方或?qū)嶓w來調(diào)整。

      窗口區(qū)域112包括多個光學(xué)捕獲組件的視場,從而允許遠程MR設(shè)備106的用戶查看患者110的區(qū)域。在這樣的示例中,多個光學(xué)捕獲組件的捕獲視場可以組合,使得遠程MR設(shè)備106的用戶在查看虛擬SR網(wǎng)格環(huán)境顯示時可以在視場之間基本無縫切換。

      例如,如果窗口區(qū)域112包括懸掛在患者110上方的兩個靜態(tài)攝像頭的視場,這時可以根據(jù)他們正在查看患者的具體位置,向遠程MR設(shè)備106的用戶提供兩個靜態(tài)攝像頭之一的實時視頻饋送。

      當用戶轉(zhuǎn)動其頭部或以其他方式調(diào)整其視場以查看患者的其他位置時,可以提供另一個攝像頭的實時視頻饋送。

      可選地,環(huán)境108包括一個或多個攝像頭,并可由遠程MR設(shè)備106的用戶控制,使得用戶能夠改變攝像頭的視場,從而在其實時視頻饋送中看到所需的患者部分。

      數(shù)據(jù)流114由本地MR設(shè)備102通過網(wǎng)絡(luò)104提供給遠程MR設(shè)備106。數(shù)據(jù)流114包括SR網(wǎng)格數(shù)據(jù)116和視頻數(shù)據(jù)118。

      SR網(wǎng)格數(shù)據(jù)116包括環(huán)境108的光學(xué)數(shù)據(jù),以及基于所述光學(xué)數(shù)據(jù)指示環(huán)境中表面位置的數(shù)據(jù)。在一個實施例中,可以利用攝影測量技術(shù)從光學(xué)數(shù)據(jù)中提取環(huán)境的三維表面數(shù)據(jù)并生成SR網(wǎng)格數(shù)據(jù)116。

      SR網(wǎng)格數(shù)據(jù)116包括表示環(huán)境三維空間中點的網(wǎng)格的數(shù)據(jù),其中點和點之間的連接表示環(huán)境中表面的位置。另外,所述點在三維空間中的位置是根據(jù)捕獲的光學(xué)數(shù)據(jù)確定。

      在一個實施例中,SR網(wǎng)格數(shù)據(jù)116是基于由本地MR設(shè)備102或其他光學(xué)捕獲組件從環(huán)境捕獲的光學(xué)數(shù)據(jù)生成。另外,SR網(wǎng)格數(shù)據(jù)116包括疊加在SR網(wǎng)格的圖像數(shù)據(jù)。在這樣的例子中,從環(huán)境中捕獲的光學(xué)數(shù)據(jù)轉(zhuǎn)換成圖像,并排列在SR網(wǎng)格的位置,使得SR網(wǎng)格以一定程度的精度提供環(huán)境中每個表面的攝影外觀。

      SR網(wǎng)格數(shù)據(jù)116由遠程MR設(shè)備106用于向設(shè)備106的用戶顯示SR網(wǎng)格環(huán)境顯示120。所顯示的SR網(wǎng)格環(huán)境顯示器120是具有多個定位表面的3D虛擬環(huán)境,從而使得虛擬環(huán)境看起來與本地MR設(shè)備102的環(huán)境108基本相同。

      在初始時間間隔內(nèi)捕獲用于生成SR網(wǎng)格數(shù)據(jù)116的光學(xué)數(shù)據(jù),生成SR網(wǎng)格數(shù)據(jù)116并提供給遠程MR設(shè)備106。SR網(wǎng)格數(shù)據(jù)116生成后,開始捕獲視頻直播饋送的視頻數(shù)據(jù)118并提供給遠程MR設(shè)備106。

      在這樣的例子中,SR網(wǎng)格數(shù)據(jù)116保持靜態(tài);蛘撸谑褂脤崟r視頻饋送期間偶爾更新SR網(wǎng)格數(shù)據(jù)116以反映環(huán)境108中的任何實質(zhì)性變化。

      數(shù)據(jù)流114的視頻數(shù)據(jù)118包括與本文所述的窗口區(qū)域112相關(guān)聯(lián)的實時視頻饋送或流的視頻數(shù)據(jù)。視頻數(shù)據(jù)118由本地MR設(shè)備102的光學(xué)捕獲組件捕獲和/或視頻數(shù)據(jù)118包括本地MR設(shè)備102用戶視場的視頻數(shù)據(jù)。

      另外,對于視頻數(shù)據(jù)118和/或數(shù)據(jù)流114包括3D位置數(shù)據(jù)和/或其他3D元數(shù)據(jù),其可由遠程MR設(shè)備106用于向設(shè)備106的用戶提供相對于SR網(wǎng)格環(huán)境顯示120的適當視場。

      所述位置數(shù)據(jù)和其他元數(shù)據(jù)用于將視頻數(shù)據(jù)118與SR網(wǎng)格數(shù)據(jù)116同步,從而在與所述環(huán)境108中的區(qū)域窗口112的位置相匹配的環(huán)境顯示器120的位置向設(shè)備106用戶顯示所述實時視頻饋送。

      因此,設(shè)備106顯示環(huán)境顯示120,并將實時視頻饋送的視頻數(shù)據(jù)118疊加在環(huán)境顯示器120的窗口區(qū)域124。所以,實時視頻饋送參照環(huán)境顯示120的表面發(fā)生。例如,在環(huán)境顯示器120的窗口區(qū)域124中的患者網(wǎng)格122的虛擬表示之上,可以顯示發(fā)生在患者110腹部的手術(shù)的實時視頻饋送。

      另外,反饋數(shù)據(jù)126通過網(wǎng)絡(luò)104從遠程MR設(shè)備106提供給本地MR設(shè)備102。反饋數(shù)據(jù)126包括音頻數(shù)據(jù)128或其他相關(guān)數(shù)據(jù)。音頻數(shù)據(jù)128包括遠程MR設(shè)備106的用戶的口頭陳述,以播放給本地MR設(shè)備102的用戶。

      同時,本地MR設(shè)備102允許用戶將音頻數(shù)據(jù)從設(shè)備102發(fā)送到遠程MR設(shè)備106,以便向設(shè)備106的用戶播放。這樣,設(shè)備102和106的用戶能夠相互交談。

      除了SR網(wǎng)格數(shù)據(jù)和視頻數(shù)據(jù)外,其他類型的可視數(shù)據(jù)可以發(fā)送到遠程設(shè)備106和/或顯示給本地MR設(shè)備102的用戶。

      例如,對患者身體部分的其他醫(yī)學(xué)掃描顯示為疊加在患者的SR網(wǎng)格表示之上,比如說患者手臂的x射線掃描顯示骨折。通過疊加在患者手臂的SR網(wǎng)格表示上,這樣就可以很容易地在SR網(wǎng)格表示定位骨折的位置。

      圖2示出包括本地MR設(shè)備202的系統(tǒng)200的框圖。

      光學(xué)捕獲接口234包括用于捕獲環(huán)境的光學(xué)數(shù)據(jù)的硬件、固件和/或軟件。光學(xué)數(shù)據(jù)232包括用于生成SR網(wǎng)格的SR網(wǎng)格數(shù)據(jù)240。

      實時視頻窗口位置管理器244配置為存儲和維護環(huán)境中的實時視頻窗口的位置、邊界和/或其他特征。

      現(xiàn)場視頻窗口位置管理器244過濾來自現(xiàn)場視頻數(shù)據(jù)242的光學(xué)數(shù)據(jù),以確保通過網(wǎng)絡(luò)204發(fā)送到遠程MR設(shè)備的實時視頻數(shù)據(jù)242在其視角看來具有意義。

      視點檢測器246配置為檢測設(shè)備202和相關(guān)光學(xué)捕獲接口234的當前位置和/或方向,特別是相對于諸如圖1的環(huán)境108的環(huán)境。

      本地MR設(shè)備202通過網(wǎng)絡(luò)接口236接收來自網(wǎng)絡(luò)204的反饋數(shù)據(jù)226。

      圖3示出遠程MR設(shè)備306的系統(tǒng)300。

      在一個實施例中,數(shù)據(jù)流314包括從本地MR設(shè)備提供的SR網(wǎng)格數(shù)據(jù)340和/或?qū)崟r視頻數(shù)據(jù)344。例如,在過程的初始階段提供SR網(wǎng)格數(shù)據(jù)340,然后在接收SR網(wǎng)格數(shù)據(jù)340之后提供實時視頻數(shù)據(jù)342,并使遠程MR設(shè)備306能夠生成虛擬SR網(wǎng)格環(huán)境。

      另外,將SR網(wǎng)格數(shù)據(jù)340和實時視頻數(shù)據(jù)342組合成組合環(huán)境視圖數(shù)據(jù)352,然后通過MR顯示接口350將其顯示給設(shè)備306的用戶。

      視點檢測器354相當于圖2中的視點檢測器246,其配置為檢測遠程MR設(shè)備306的位置和方向,包括其相對于所生成的虛擬SR網(wǎng)格環(huán)境的位置和方向。所述視點探測器354提供的位置和方向信息與所述組合環(huán)境視圖數(shù)據(jù)352一起使用,以顯示基于所述設(shè)備306的位置和方向的虛擬SR網(wǎng)格環(huán)境的視場。

      隨著設(shè)備306的位置和方向的變化,顯示的視圖可以改變,從而對應(yīng)于位置和方向的變化。

      遠程MR設(shè)備306包括用戶輸入接口356。所述用戶輸入接口356使得所述設(shè)備306的用戶能夠生成用戶輸入數(shù)據(jù),并將所述用戶輸入數(shù)據(jù)作為反饋數(shù)據(jù)326通過所述網(wǎng)絡(luò)接口348發(fā)送到所述網(wǎng)絡(luò)304的本地MR設(shè)備。

      可選地,用戶輸入接口356包括麥克風(fēng)或其他音頻捕獲接口,使得設(shè)備306的用戶能夠捕獲語音或其他音頻數(shù)據(jù)以作為反饋數(shù)據(jù)326發(fā)送到本地MR設(shè)備。

      圖4示出用于向遠程設(shè)備提供組合的SR網(wǎng)格數(shù)據(jù)和實時視頻數(shù)據(jù),以使遠程設(shè)備能夠顯示MR環(huán)境。

      在402,獲得環(huán)境表面的3D SR網(wǎng)格。3D SR網(wǎng)格包括一系列位于3D空間中的點,而點相互連接,以表示環(huán)境的3D表面。

      在404,所獲得的3D SR網(wǎng)格提供給遠程設(shè)備顯示。

      在406,由本地MR設(shè)備獲得環(huán)境窗口區(qū)域的實時視頻饋送。實時視頻饋送包括與本文所述環(huán)境的特定窗口區(qū)域相關(guān)聯(lián)的視頻數(shù)據(jù)。

      在408,窗口區(qū)域的實時視頻饋送由遠程設(shè)備提供在3D SR網(wǎng)格上顯示。

      圖5示出的計算機化方法500的用于向遠程設(shè)備提供組合的SR網(wǎng)格數(shù)據(jù)和實時視頻數(shù)據(jù),以使遠程設(shè)備能夠顯示MR環(huán)境,并根據(jù)所提供的SR網(wǎng)格數(shù)據(jù)和實時視頻數(shù)據(jù)從遠程設(shè)備接收反饋數(shù)據(jù)。

      在502,由本地MR設(shè)備獲得環(huán)境表面的光學(xué)數(shù)據(jù)。

      在504,使用攝影測量從獲得的光學(xué)數(shù)據(jù)生成表面的3D SR網(wǎng)格。

      在506,生成的3D SR網(wǎng)格由遠程設(shè)備提供顯示。

      在508,獲得所述環(huán)境的窗口區(qū)域的實時視頻饋送。

      在510,提供所述窗口區(qū)域的實時視頻饋送以供遠程設(shè)備在3D SR網(wǎng)格上顯示。

      在512,從遠程設(shè)備接收反饋數(shù)據(jù)。

      在514,將接收到的反饋數(shù)據(jù)提供給本地MR設(shè)備的用戶。

      方法500進一步包括通過本地MR設(shè)備的可視界面向本地MR設(shè)備的用戶顯示與實時視頻饋送相關(guān)聯(lián)的窗口區(qū)域的位置。

      另外,獲取窗口區(qū)域的實時視頻饋送包括從至少一個與本地MR設(shè)備分離的本地光捕獲設(shè)備獲取實時視頻饋送。實時視頻饋送包括來自多個本地光捕獲設(shè)備的多個實時視頻饋送。

      名為”Mixed reality environment display using surface reconstruction mesh and live video overlay“的微軟專利申請最初在2022年2月提交,并在日前由美國專利商標局公布。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風(fēng)險自擔。

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。

    3C消費

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標識解析專題論壇在沈陽成功舉辦。