顯示專家Guttag CES分享：VoxelSensors的AR/VR傳感器技術(shù)

　　近眼顯示技術(shù)專家卡爾·古塔格(Karl Guttag)正繼續(xù)分享自己的CES之旅。本次的分析對(duì)象是VoxelSensors。

　　VoxelSensors專注于研發(fā)旨在融合物理世界和數(shù)字世界的傳感器技術(shù)。這家公司的產(chǎn)品提供的解決方案主要應(yīng)對(duì)互聯(lián)網(wǎng)新時(shí)代的3D感知挑戰(zhàn)，通過(guò)低功耗、低延遲和低復(fù)雜度的傳感技術(shù)來(lái)將物理和數(shù)字世界與新型3D感知解決方案相結(jié)合。

　　引言

　　我的CES 2023博文系列是從AR/MR的基礎(chǔ)技術(shù)開(kāi)始，而不是實(shí)際產(chǎn)品，比如說(shuō)Meta Materials的非偏振調(diào)光技術(shù)，Porotech的MicroLED顯示技術(shù)，以及Addoptics的3D可打印光學(xué)模具。本文討論了VoxelSensors及其全新的3D感知技術(shù)。

　　盡管我熟悉3D感知的基本概念，但我并沒(méi)有對(duì)其進(jìn)行廣泛的研究。所以，我在術(shù)語(yǔ)方面可能會(huì)犯錯(cuò)，并且沒(méi)有意識(shí)到用于AR和VR的特定方法。據(jù)我所知，VoxelSensors似乎比當(dāng)前的3D感知方法有了重大進(jìn)步。

　　為了幫助理解VoxelSensors方法的不同，本文結(jié)尾簡(jiǎn)要介紹了常見(jiàn)的現(xiàn)有3D感知方法及其局限性。

　　Voxelsensors的Switching Pixels：一種新型“攝像頭”

　　據(jù)介紹，VoxelSensors專有的Switching Pixels是一種傳感器架構(gòu)，設(shè)計(jì)用于基于激光束掃描的3D感知。它定位空間中的有源激光點(diǎn)或結(jié)構(gòu)，而輸出則用于以100 MHz的速率生成3D點(diǎn)(體素)。

　　VoxelSensors的工作方式與眾所周知的“Event Camera”不同。但在團(tuán)隊(duì)開(kāi)發(fā)出專門的和性能更好的產(chǎn)品之前，他們將Event Camera用于開(kāi)發(fā)算法。

　　因?yàn)閂oxelSensors設(shè)計(jì)用于尋找掃描激光，所以它可以對(duì)激光非常敏感，同時(shí)拒絕所有其他光。由于激光和紅外輻射對(duì)眼睛的安全限制，在3D感知中，更好的傳感器靈敏度將轉(zhuǎn)化為更好的感知范圍和分辨率。

　　VoxelSensors的3D感知方法

　　VoxelSensors的3D感知方法從Lissajous掃描開(kāi)始。盡管掃描不必是Lissajous掃描，但Lissajous可以快速掃描整個(gè)區(qū)域的空間圖像。如果在掃描過(guò)程中一切都是靜止的，分辨率會(huì)不斷提高。就概念而言，高分辨率感知是根據(jù)一系列最新的稀疏檢測(cè)建立。下圖說(shuō)明了稀疏掃描過(guò)程是如何比普通的飛行時(shí)間攝像頭和LiDAR實(shí)現(xiàn)更快的檢測(cè)。請(qǐng)注意，它在任何時(shí)間點(diǎn)都會(huì)有更高分辨率的圖像。

　　比典型的LiDAR檢測(cè)速度快10倍以上

　　VoxelSensors的方法可以在不到1毫秒的時(shí)間內(nèi)獲得整個(gè)視場(chǎng)的稀疏圖像。相比之下，典型的LiDAR方法可能需要16毫秒或更長(zhǎng)時(shí)間，外加在檢測(cè)到任何東西之前所需的處理時(shí)間。

　　使用兩個(gè)VoxelSensors的輸出，通過(guò)簡(jiǎn)單的三角測(cè)量來(lái)確定3D距離非常簡(jiǎn)單，不需要復(fù)雜的圖像處理。與LiDAR不同，距離精度不是基于光速。所以，距離分辨率可以更高，并且不需要基于光速測(cè)量距離所需的校準(zhǔn)程度。下圖概述了VoxelSensors的3D感知過(guò)程。

　　VoxelSensors制作了一段1分鐘的視頻來(lái)展示了他們的套件以及技術(shù)信息。他們使用了可見(jiàn)的紅色激光(而不是紅外)，這樣我們就能看到相關(guān)過(guò)程。

　　https://v.qq.com/x/page/m3501lgevfk.html

　　視頻中的設(shè)備又大又笨重，所以在整合至AR或VR頭顯方面尚有很長(zhǎng)一段路要走。但這在早期演示中十分常見(jiàn)。

　　VoxelSensors正在努力實(shí)現(xiàn)小型化，而團(tuán)隊(duì)于2022年12月宣布與生產(chǎn)Lissajous掃描儀的Oqmented合作。除了3D感知，Oqmented近幾年來(lái)一直在嘗試將他們的Lissajous掃描工藝用于制造激光掃描顯示器。

　　我曾經(jīng)在博文中指出，Lissajous掃描激光束掃描顯示器沒(méi)有任何意義或競(jìng)爭(zhēng)力。但在同一篇文章中，我認(rèn)為Oqmented和使用Lissajous掃描的3D傳感將在3D傳感方面具有巨大意義。坦率地說(shuō)，Oqmented應(yīng)該專注于感知技術(shù)，并放棄顯示器應(yīng)用。

　　背景：常見(jiàn)的AR/VR 3D感知方法

　　3D感知的基本目標(biāo)是根據(jù)現(xiàn)實(shí)世界中的物理對(duì)象的水平(X)、垂直(Y)和深度(Z)來(lái)發(fā)展體素點(diǎn)云。VR/AR中使用的常見(jiàn)3D感知技術(shù)包括： 光學(xué)(可見(jiàn)光和紅外)追蹤：來(lái)自一個(gè)或多個(gè)攝像頭的圖像與圖像處理和結(jié)構(gòu)假設(shè)(如手指與手的關(guān)系和手與手臂的關(guān)系)相結(jié)合，從而確定2D和3D位置。隨著時(shí)間的推移，使用多個(gè)攝像頭或多個(gè)幀可以從圖像中提取深度信息。 盡管這是獲得某種程度的3D感知的最常見(jiàn)和成本最低的方法，但分辨率和精度(特別是Z/深度)很低，需要大量的處理。 速度受到攝像頭幀速率和處理圖像時(shí)間的限制。任何深度感測(cè)都很慢，可能需要多幀才能構(gòu)建。 結(jié)構(gòu)光：投影一個(gè)或多個(gè)(通常為紅外)光圖案，然后由一個(gè)或更多個(gè)(通常是紅外)攝像頭捕獲。接下來(lái)，處理結(jié)構(gòu)光圖案的失真以提取3D信息。結(jié)構(gòu)光最初因微軟Kinect而出名。2013年，蘋果收購(gòu)了開(kāi)發(fā)Kinect 3D感知技術(shù)的PrimeSense，并隨后開(kāi)始在iPhone和iPad添加結(jié)構(gòu)光3D感知(從iPhone X開(kāi)始)。 結(jié)構(gòu)光通常在理解Z/距離方面更好，并且需要更少的處理。但如果只有一個(gè)投影儀和攝像頭(例如iPhone X)，有時(shí)需要移動(dòng)投影儀和攝像頭才能獲得精度。 LiDAR(使用一個(gè)飛行時(shí)間傳感器進(jìn)行掃描)：它的工作原理是發(fā)出一束IR光，通常是激光，并測(cè)量光返回一個(gè)或幾個(gè)傳感器所需的時(shí)間，其中距離根據(jù)光速計(jì)算。沿X和Y掃描一個(gè)或多個(gè)脈沖光束以確定X和Y。X和Y位置通過(guò)與掃描處理同步來(lái)確定，Z/距離通過(guò)脈沖光源返回所需的光速來(lái)確定。光束可以通過(guò)多種方式進(jìn)行掃描，包括MEMS掃描鏡和振動(dòng)衍射光柵。 一般來(lái)說(shuō)，掃描過(guò)程相對(duì)較慢(慢于1/60秒)。 Z/距離精度受到精確發(fā)光、感知和測(cè)量光速(約30厘米/納秒)的能力限制。 由于為了眼睛安全而必須限制典型的紅外激光輸出，距離、速度、分辨率以及傳感器的靈敏度和拒絕噪點(diǎn)的能力都變得相互關(guān)聯(lián)。 英特爾的MEMS反射鏡LiDAR(即將停產(chǎn))規(guī)格為這一方案提供了功能和權(quán)衡的參考，其幀速率約為1/30秒，分辨率隨距離而變化。有趣的是，英特爾LiDAR原計(jì)劃用于MetaQuestPro。 固態(tài)飛行時(shí)間攝像頭(ToF)/激光雷達(dá)(LiDAR)：不是掃描窄(激光)光束，而是用單個(gè)寬光束或激光通過(guò)衍射光柵等發(fā)出較小光束陣列。一個(gè)帶有小型X-Y陣列傳感器的飛行時(shí)間攝像頭用于測(cè)量時(shí)間，從而測(cè)量距離。固態(tài)LiDAR經(jīng)常出現(xiàn)在手機(jī)、VR和AR系統(tǒng)中。 在任何給定的情況下，分辨率都限于ToF攝像頭的分辨率(通過(guò)結(jié)合運(yùn)動(dòng)信息，可以隨著時(shí)間的推移建立更高的分辨率)。 單個(gè)傳感器通常需要更多的光子來(lái)感測(cè)，這意味著系統(tǒng)需要更多的時(shí)間。 時(shí)間測(cè)量的準(zhǔn)確性 AR/VR中的速度通常很慢。例如，Hololens 2可能需要一秒鐘的時(shí)間來(lái)確定遠(yuǎn)距離。

　　下表是VoxelSensors進(jìn)行的比較：

　　結(jié)論/總結(jié)

　　我認(rèn)為VoxelSensors相對(duì)于現(xiàn)有3D感知方法的主要突出功能包括： 更快的運(yùn)動(dòng)初始檢測(cè)(約1毫秒，而其他通常為16-33毫秒) 用于深度計(jì)算的簡(jiǎn)單三角測(cè)量 vs 光速測(cè)量或大規(guī)模立體圖像處理，其在計(jì)算精度和速度(以及功率)方面具有優(yōu)勢(shì)。 高靈敏度的Switching Pixels實(shí)現(xiàn)更高的幀速率、更長(zhǎng)的距離和更好地利用眼睛安全的激光。

　　當(dāng)然，我們需要繼續(xù)耐心等待VoxelSensors系統(tǒng)將如何小型化，以及Switching Pixels的生產(chǎn)成本。我認(rèn)為VoxelSensors最終將在尺寸和成本方面與飛行時(shí)間攝像頭競(jìng)爭(zhēng)，但同時(shí)提供上述優(yōu)勢(shì)。