微軟專利介紹了用于VR、AR定位追蹤系統(tǒng)的LED同步機(jī)制

　　AR/VR頭顯允許用戶查看虛擬環(huán)境并與之交互。頭顯可以與手持控制器和/或其他手持外設(shè)接口。為了提升體驗(yàn)的沉浸感，當(dāng)用戶在空間中移動設(shè)備以提供輸入時(shí)，可以追蹤頭顯和手持控制器的姿態(tài)。這種姿態(tài)追蹤同時(shí)可用于游戲以外的其他計(jì)算設(shè)備交互。

　　為了追蹤用戶的位置移動，或用于單獨(dú)控制器的移動，頭顯設(shè)備可以使用光學(xué)傳感器，例如用于檢測在頭顯附近發(fā)光的LED標(biāo)記的攝像頭。當(dāng)使用這種LED標(biāo)記時(shí)，系統(tǒng)需要同步LED發(fā)射和攝像頭曝光之間的定時(shí)。LED發(fā)射時(shí)間和攝像頭曝光窗口之間的定時(shí)同步對于圖像質(zhì)量、精度和功耗非常重要。Bluetooth Low Energy(BLE)通常具有10ms或更長的數(shù)據(jù)包延遲和不確定性，這對于LED發(fā)射時(shí)間控制而言并不實(shí)際。另外，頭顯的攝像頭模塊和藍(lán)牙芯片可能來自不同的時(shí)鐘源，從而可能導(dǎo)致時(shí)鐘漂移。所以，LED和攝像頭定時(shí)同步成為一項(xiàng)具有挑戰(zhàn)性的任務(wù)。

　　當(dāng)實(shí)施LED光學(xué)同步機(jī)制時(shí)(例如六自由度VR控制器中使用的同步機(jī)制)，為了確保正確的圖像捕獲，LED發(fā)射時(shí)間可設(shè)置為遠(yuǎn)長于攝像頭曝光時(shí)間。由于頭顯和六自由度控制器之間沒有定時(shí)同步，光學(xué)圖像同步精度可能會受到限制。為了減少過多的LED發(fā)射時(shí)間，必須在接近攝像頭實(shí)際曝光時(shí)間的情況下激活LED。在許多系統(tǒng)中，為了確保攝像頭能夠捕獲LED，由于攝像頭曝光時(shí)間的不確定性，LED發(fā)射時(shí)間可能比攝像頭曝光時(shí)間長得多。這可能導(dǎo)致功耗增加。

　　另外，為了拍攝更清晰的圖像，可以減少攝像頭曝光時(shí)間，尤其是當(dāng)攝像頭或控制器處于運(yùn)動狀態(tài)時(shí)。對于頭顯，光學(xué)同步需要視線視圖，因此頭顯應(yīng)具有控制器的清晰視圖。然后，每當(dāng)控制器移動到攝像頭視場之外時(shí)，控制器必須進(jìn)入重新初始化模式。在重新同步過程中，LED通常需要設(shè)置為完全打開，亮度增加或最大，以便啟用圖像捕獲并進(jìn)入重新同步，這同樣會增加功耗。

　　控制器和頭顯之間的通信通常為無線，并在許多情況下使用藍(lán)牙。對于頭顯，當(dāng)使用高頻時(shí)鐘時(shí)，需要計(jì)算每個(gè)攝像機(jī)幀的時(shí)鐘周期數(shù)以追蹤攝像頭幀時(shí)間。另外，LED循環(huán)的開始時(shí)間需要與頭顯同步。

　　不準(zhǔn)確的同步會導(dǎo)致較差的圖像質(zhì)量和準(zhǔn)確性，造成控制器追蹤問題，從而對用戶體驗(yàn)產(chǎn)生負(fù)面影響。另外，不準(zhǔn)確的同步會造成不必要的計(jì)算資源使用和過度的功耗。在名為“Led synchronization for virtual and augmented reality devices”的專利申請中，微軟提出了一種LED同步方法。

　　微軟指出，發(fā)明主要描述了用于實(shí)現(xiàn)藍(lán)牙物理層無線同步機(jī)制的技術(shù)。另外，所述機(jī)制不需要更改現(xiàn)有的藍(lán)牙物理層和其他協(xié)議層，而且LED定時(shí)調(diào)整可在納秒級實(shí)施，以設(shè)置LED開啟開始時(shí)間和開啟持續(xù)時(shí)間，從而進(jìn)行精確定時(shí)控制。結(jié)果，所述系統(tǒng)和設(shè)備可以節(jié)省功率并生成更清晰和減少模糊的圖像。一旦建立了初始同步，可以繼續(xù)保持同步直到系統(tǒng)斷電(即便控制器移入和移出攝像頭視場，因?yàn)樗�述無線同步機(jī)制不需要頭顯和控制器LED之間的視線)。

　　所述發(fā)明包括基于Phase Lock Loop(PLL)的時(shí)鐘乘法器的實(shí)現(xiàn)，從而提升主時(shí)鐘�？蓪�(shí)施LED幀定時(shí)器以測量camera幀時(shí)間至所需精度�？赏ㄟ^將平均攝像頭和藍(lán)牙時(shí)鐘漂移誤差添加到LED幀計(jì)數(shù)器中來實(shí)現(xiàn)用于camera幀和LED定時(shí)同步的無線數(shù)字PLL，以確保同步誤差在期望范圍內(nèi)。

　　藍(lán)牙RF RX/TX開關(guān)控制引腳或其他RF檢測電路可用作藍(lán)牙同步參考。在一個(gè)實(shí)施例中，兩個(gè)幀定時(shí)器可用于存儲前一幀時(shí)間和當(dāng)前幀時(shí)間以生成幀時(shí)間誤差。平均幀時(shí)間誤差可以添加到當(dāng)前幀計(jì)時(shí)器。在一個(gè)實(shí)施例中，硬件幀計(jì)數(shù)器可用于計(jì)數(shù)幀時(shí)間并生成準(zhǔn)確的幀觸發(fā)信號。

　　LED偏移估計(jì)器可用于LED初始啟動時(shí)間估計(jì)。硬件LED偏移計(jì)數(shù)器和LED持續(xù)時(shí)間計(jì)數(shù)器可用于控制LED啟動時(shí)間和持續(xù)時(shí)間。幀時(shí)間誤差同時(shí)可以在由頭顯計(jì)算。在這種情況下，頭顯可以發(fā)送幀時(shí)間一次，然后發(fā)送幀錯(cuò)誤。

　　在一個(gè)實(shí)施例中，頭顯攝像頭可使用曝光的選通管腳或其他幀同步信號進(jìn)行頭顯和控制器之間的camera幀和LED同步控制。

　　具有使能引腳和脈寬調(diào)制(PWM)輸入引腳的并聯(lián)或串行控制器可用于控制LED的開/關(guān)和亮度。亮度可由頭顯以閉環(huán)方式控制。當(dāng)頭顯確定是由于頭顯和控制器之間的距離變化而導(dǎo)致LED太暗或太亮?xí)r，頭顯可命令控制器增加或減少亮度。攝像頭組件都有一個(gè)可用于追蹤攝像頭啟動時(shí)間的頻閃信號。

　　在一個(gè)實(shí)施例中，為了查找LED開始時(shí)間，中可以實(shí)現(xiàn)二進(jìn)制搜索過程。在一個(gè)實(shí)施例中，LED可在發(fā)射時(shí)間的第一個(gè)周期開始時(shí)打開，并且頭顯可確定LED是否可被檢測到。如果未檢測到LED，則可以確定LED在循環(huán)的前半部分未激活，并且在下一個(gè)循環(huán)中，可以假定為循環(huán)的后半部分。所述過程可以在將時(shí)間段一分為二的情況下繼續(xù)，并且搜索可以以這種方式繼續(xù)，直到可以將開始時(shí)間確定為所需的精度。

　　在一個(gè)實(shí)施例中，如果頭顯和控制器使用相同的時(shí)鐘源，則不需要分割時(shí)鐘源，因?yàn)闆]有時(shí)鐘漂移，所以可以使用其他技術(shù)來優(yōu)化功耗。在這樣的實(shí)施例中，PLL、硬件計(jì)數(shù)器和攝像頭選通信號、以及攝像頭和藍(lán)牙時(shí)鐘漂移誤差估計(jì)和校正功能都是可選的。所述技術(shù)可在期望主設(shè)備和從設(shè)備之間的精確定時(shí)的任何情況下實(shí)施，例如在使用暴露在RF RX/TX開關(guān)信號的TDD無線通信系統(tǒng)中。

　　圖1是一個(gè)示例性設(shè)備。在圖1所示的配置中，VR設(shè)備100可包括形成傳感器子系統(tǒng)120的各種機(jī)載傳感器，例如一個(gè)或多個(gè)朝外的光學(xué)攝像頭102�？刂破�160可以包括分布在控制器160的表面上的多個(gè)光源。

　　圖2到圖5示出了頭顯和六自由度控制器與藍(lán)牙主時(shí)鐘同步的系統(tǒng)示例。

　　圖2示出了具有閃光燈信號235的頭部追蹤攝像頭230。在一個(gè)實(shí)施例中，可以有多個(gè)攝像頭用于頭顯頭部和控制器追蹤。攝像頭可以從同一時(shí)鐘源同步。

　　圖3所示為藍(lán)牙主天線310和藍(lán)牙主時(shí)鐘320，顯示為BT MCLK1(24 MHz)。藍(lán)牙主時(shí)鐘320是主藍(lán)牙芯片的時(shí)鐘基準(zhǔn)。圖3中同時(shí)示出了藍(lán)牙主模塊330，它是頭顯的藍(lán)牙主控制器，TX/RX開關(guān)信號暴露在芯片上。

　　圖3進(jìn)一步說明了主時(shí)鐘發(fā)生器340，其為藍(lán)牙主從物理層定時(shí)基準(zhǔn)生成3.2 KHz主時(shí)鐘360。在一個(gè)實(shí)施例中，時(shí)鐘乘法器350將主時(shí)鐘乘以7500以生成用于幀定時(shí)器輸入時(shí)鐘的24mhz同步時(shí)鐘。在一個(gè)實(shí)施例中，可以使用Cirrus Logic CS2000-OTP。應(yīng)當(dāng)理解，主時(shí)鐘可以是其他值的倍數(shù)，這取決于具體實(shí)現(xiàn)。

　　圖4示出了LED驅(qū)動器410，其分別使用LED開/關(guān)和亮度控制的使能引腳412和PWM輸入414驅(qū)動一個(gè)或多個(gè)LED串420。圖4同時(shí)示出了控制器MCU 430，其可以是用于六自由度控制器LED定時(shí)和藍(lán)牙通信的微控制器。LED串420包括一個(gè)或多個(gè)串行或并行LED串。

　　圖4進(jìn)一步示出了幀時(shí)間同步器440，其從從主控制器430接收的幀時(shí)間分組生成camera幀時(shí)間。幀時(shí)間同步器440比較當(dāng)前和更新的幀定時(shí)器，以估計(jì)在固定時(shí)段內(nèi)接收下一幀時(shí)間包之前平均到幀定時(shí)器的時(shí)鐘漂移。這樣，幀時(shí)間同步器440逐幀補(bǔ)償camera時(shí)鐘漂移，而不依賴可能高達(dá)數(shù)百毫秒的藍(lán)牙延遲。

　　圖4進(jìn)一步示出了LED偏移估計(jì)器450，其可配置為參考幀起始點(diǎn)來估計(jì)用于初始同步的LED ON定時(shí)偏移。圖4同時(shí)示出了存儲LED ON定時(shí)偏移的LED偏移計(jì)數(shù)器460。在一個(gè)實(shí)施例中，可將LED偏移計(jì)數(shù)器460調(diào)整為1/24 MHz=41.6 ns的精度。圖4進(jìn)一步示出了LED持續(xù)時(shí)間計(jì)數(shù)器470，其可用于控制LED接通時(shí)間。當(dāng)控制器處于運(yùn)動狀態(tài)時(shí)，較短的LED持續(xù)時(shí)間可使圖像清晰穩(wěn)定。

　　圖5示出了設(shè)備藍(lán)牙天線510和藍(lán)牙從模塊520，其可以是六自由度控制器上的藍(lán)牙從設(shè)備控制器，其中TX/RX開關(guān)信號用于主同步和從同步。圖5進(jìn)一步示出了主時(shí)鐘恢復(fù)功能530，其將3.2khz主時(shí)鐘恢復(fù)為時(shí)鐘乘法器輸入之一。在1.5m距離處，由于物理層中的TDD定時(shí)調(diào)整，主時(shí)鐘和恢復(fù)的主時(shí)鐘可能有5ns的差異。對于41.6 ns的定時(shí)分辨率，這種差異可以忽略，而LED定時(shí)控制沒有明顯差異。

　　圖5進(jìn)一步示出了時(shí)鐘乘法器540，它可以與圖3中的時(shí)鐘乘法器350相同，并用于主時(shí)鐘乘法，以在從設(shè)備生成作為幀時(shí)間基準(zhǔn)的24mhz同步時(shí)鐘。圖5同時(shí)示出了藍(lán)牙MCK2(24 MHz)550，它是作為從藍(lán)牙芯片時(shí)鐘參考的藍(lán)牙從主時(shí)鐘。由于主時(shí)鐘和從時(shí)鐘使用不同的時(shí)鐘源，藍(lán)牙從主時(shí)鐘的時(shí)鐘與主時(shí)鐘相比會漂移。然而，從時(shí)鐘乘法器540的輸出被鎖相到3.2khz主時(shí)鐘以克服時(shí)鐘漂移。

　　名為“Led synchronization for virtual and augmented reality devices”的專利申請最初在2020年5月提交，并在日前由美國專利商標(biāo)局公布。