顯示專家Guttag CES分享：VoxelSensors的AR/VR傳感器技術(shù)

　　近眼顯示技術(shù)專家卡爾·古塔格(Karl Guttag)正繼續(xù)分享自己的CES之旅。本次的分析對象是VoxelSensors。

　　VoxelSensors專注于研發(fā)旨在融合物理世界和數(shù)字世界的傳感器技術(shù)。這家公司的產(chǎn)品提供的解決方案主要應(yīng)對互聯(lián)網(wǎng)新時代的3D感知挑戰(zhàn)，通過低功耗、低延遲和低復(fù)雜度的傳感技術(shù)來將物理和數(shù)字世界與新型3D感知解決方案相結(jié)合。

　　引言

　　我的CES 2023博文系列是從AR/MR的基礎(chǔ)技術(shù)開始，而不是實際產(chǎn)品，比如說Meta Materials的非偏振調(diào)光技術(shù)，Porotech的MicroLED顯示技術(shù)，以及Addoptics的3D可打印光學(xué)模具。本文討論了VoxelSensors及其全新的3D感知技術(shù)。

　　盡管我熟悉3D感知的基本概念，但我并沒有對其進行廣泛的研究。所以，我在術(shù)語方面可能會犯錯，并且沒有意識到用于AR和VR的特定方法。據(jù)我所知，VoxelSensors似乎比當(dāng)前的3D感知方法有了重大進步。

　　為了幫助理解VoxelSensors方法的不同，本文結(jié)尾簡要介紹了常見的現(xiàn)有3D感知方法及其局限性。

　　Voxelsensors的Switching Pixels：一種新型“攝像頭”

　　據(jù)介紹，VoxelSensors專有的Switching Pixels是一種傳感器架構(gòu)，設(shè)計用于基于激光束掃描的3D感知。它定位空間中的有源激光點或結(jié)構(gòu)，而輸出則用于以100 MHz的速率生成3D點(體素)。

　　VoxelSensors的工作方式與眾所周知的“Event Camera”不同。但在團隊開發(fā)出專門的和性能更好的產(chǎn)品之前，他們將Event Camera用于開發(fā)算法。

　　因為VoxelSensors設(shè)計用于尋找掃描激光，所以它可以對激光非常敏感，同時拒絕所有其他光。由于激光和紅外輻射對眼睛的安全限制，在3D感知中，更好的傳感器靈敏度將轉(zhuǎn)化為更好的感知范圍和分辨率。

　　VoxelSensors的3D感知方法

　　VoxelSensors的3D感知方法從Lissajous掃描開始。盡管掃描不必是Lissajous掃描，但Lissajous可以快速掃描整個區(qū)域的空間圖像。如果在掃描過程中一切都是靜止的，分辨率會不斷提高。就概念而言，高分辨率感知是根據(jù)一系列最新的稀疏檢測建立。下圖說明了稀疏掃描過程是如何比普通的飛行時間攝像頭和LiDAR實現(xiàn)更快的檢測。請注意，它在任何時間點都會有更高分辨率的圖像。

　　比典型的LiDAR檢測速度快10倍以上

　　VoxelSensors的方法可以在不到1毫秒的時間內(nèi)獲得整個視場的稀疏圖像。相比之下，典型的LiDAR方法可能需要16毫秒或更長時間，外加在檢測到任何東西之前所需的處理時間。

　　使用兩個VoxelSensors的輸出，通過簡單的三角測量來確定3D距離非常簡單，不需要復(fù)雜的圖像處理。與LiDAR不同，距離精度不是基于光速。所以，距離分辨率可以更高，并且不需要基于光速測量距離所需的校準(zhǔn)程度。下圖概述了VoxelSensors的3D感知過程。

　　VoxelSensors制作了一段1分鐘的視頻來展示了他們的套件以及技術(shù)信息。他們使用了可見的紅色激光(而不是紅外)，這樣我們就能看到相關(guān)過程。

　　https://v.qq.com/x/page/m3501lgevfk.html

　　視頻中的設(shè)備又大又笨重，所以在整合至AR或VR頭顯方面尚有很長一段路要走。但這在早期演示中十分常見。

　　VoxelSensors正在努力實現(xiàn)小型化，而團隊于2022年12月宣布與生產(chǎn)Lissajous掃描儀的Oqmented合作。除了3D感知，Oqmented近幾年來一直在嘗試將他們的Lissajous掃描工藝用于制造激光掃描顯示器。

　　我曾經(jīng)在博文中指出，Lissajous掃描激光束掃描顯示器沒有任何意義或競爭力。但在同一篇文章中，我認(rèn)為Oqmented和使用Lissajous掃描的3D傳感將在3D傳感方面具有巨大意義。坦率地說，Oqmented應(yīng)該專注于感知技術(shù)，并放棄顯示器應(yīng)用。

　　背景：常見的AR/VR 3D感知方法

　　3D感知的基本目標(biāo)是根據(jù)現(xiàn)實世界中的物理對象的水平(X)、垂直(Y)和深度(Z)來發(fā)展體素點云。VR/AR中使用的常見3D感知技術(shù)包括： 光學(xué)(可見光和紅外)追蹤：來自一個或多個攝像頭的圖像與圖像處理和結(jié)構(gòu)假設(shè)(如手指與手的關(guān)系和手與手臂的關(guān)系)相結(jié)合，從而確定2D和3D位置。隨著時間的推移，使用多個攝像頭或多個幀可以從圖像中提取深度信息。 盡管這是獲得某種程度的3D感知的最常見和成本最低的方法，但分辨率和精度(特別是Z/深度)很低，需要大量的處理。 速度受到攝像頭幀速率和處理圖像時間的限制。任何深度感測都很慢，可能需要多幀才能構(gòu)建。 結(jié)構(gòu)光：投影一個或多個(通常為紅外)光圖案，然后由一個或更多個(通常是紅外)攝像頭捕獲。接下來，處理結(jié)構(gòu)光圖案的失真以提取3D信息。結(jié)構(gòu)光最初因微軟Kinect而出名。2013年，蘋果收購了開發(fā)Kinect 3D感知技術(shù)的PrimeSense，并隨后開始在iPhone和iPad添加結(jié)構(gòu)光3D感知(從iPhone X開始)。 結(jié)構(gòu)光通常在理解Z/距離方面更好，并且需要更少的處理。但如果只有一個投影儀和攝像頭(例如iPhone X)，有時需要移動投影儀和攝像頭才能獲得精度。 LiDAR(使用一個飛行時間傳感器進行掃描)：它的工作原理是發(fā)出一束IR光，通常是激光，并測量光返回一個或幾個傳感器所需的時間，其中距離根據(jù)光速計算。沿X和Y掃描一個或多個脈沖光束以確定X和Y。X和Y位置通過與掃描處理同步來確定，Z/距離通過脈沖光源返回所需的光速來確定。光束可以通過多種方式進行掃描，包括MEMS掃描鏡和振動衍射光柵。 一般來說，掃描過程相對較慢(慢于1/60秒)。 Z/距離精度受到精確發(fā)光、感知和測量光速(約30厘米/納秒)的能力限制。 由于為了眼睛安全而必須限制典型的紅外激光輸出，距離、速度、分辨率以及傳感器的靈敏度和拒絕噪點的能力都變得相互關(guān)聯(lián)。 英特爾的MEMS反射鏡LiDAR(即將停產(chǎn))規(guī)格為這一方案提供了功能和權(quán)衡的參考，其幀速率約為1/30秒，分辨率隨距離而變化。有趣的是，英特爾LiDAR原計劃用于MetaQuestPro。 固態(tài)飛行時間攝像頭(ToF)/激光雷達(LiDAR)：不是掃描窄(激光)光束，而是用單個寬光束或激光通過衍射光柵等發(fā)出較小光束陣列。一個帶有小型X-Y陣列傳感器的飛行時間攝像頭用于測量時間，從而測量距離。固態(tài)LiDAR經(jīng)常出現(xiàn)在手機、VR和AR系統(tǒng)中。 在任何給定的情況下，分辨率都限于ToF攝像頭的分辨率(通過結(jié)合運動信息，可以隨著時間的推移建立更高的分辨率)。 單個傳感器通常需要更多的光子來感測，這意味著系統(tǒng)需要更多的時間。 時間測量的準(zhǔn)確性 AR/VR中的速度通常很慢。例如，Hololens 2可能需要一秒鐘的時間來確定遠距離。

　　下表是VoxelSensors進行的比較：

　　結(jié)論/總結(jié)

　　我認(rèn)為VoxelSensors相對于現(xiàn)有3D感知方法的主要突出功能包括： 更快的運動初始檢測(約1毫秒，而其他通常為16-33毫秒) 用于深度計算的簡單三角測量 vs 光速測量或大規(guī)模立體圖像處理，其在計算精度和速度(以及功率)方面具有優(yōu)勢。 高靈敏度的Switching Pixels實現(xiàn)更高的幀速率、更長的距離和更好地利用眼睛安全的激光。

　　當(dāng)然，我們需要繼續(xù)耐心等待VoxelSensors系統(tǒng)將如何小型化，以及Switching Pixels的生產(chǎn)成本。我認(rèn)為VoxelSensors最終將在尺寸和成本方面與飛行時間攝像頭競爭，但同時提供上述優(yōu)勢。