微軟在VR上集成立體攝像頭 研發(fā)VST AR頭顯原型

　　(圖片來(lái)源：云圖視覺(jué))

　　2018年11月05日，微軟在2016年開(kāi)始將立體攝像頭集成至VR系統(tǒng)中以開(kāi)發(fā)AR頭顯，允許用戶能夠通過(guò)攝像頭的饋送看到現(xiàn)實(shí)世界。通過(guò)視頻合成可以創(chuàng)建低成本的AR系統(tǒng)。

　　與光學(xué)AR相比，這種形式的AR存在幾個(gè)優(yōu)點(diǎn)：低成本的攝像頭模塊僅為VR頭顯增加了大約40美元的零件價(jià)格;視場(chǎng)寬，水平和垂直方向達(dá)到100多度;可在陽(yáng)光下運(yùn)行，提供真正不透明的合成影像。即便是在室內(nèi)，設(shè)備都可以改善合成影像的色彩再現(xiàn)和對(duì)比度。

　　微軟的第一個(gè)原型將現(xiàn)成的機(jī)器視覺(jué)攝像頭集成至商用VR頭顯，顯示分辨率約為單眼100萬(wàn)像素，頻率為60Hz或90Hz(見(jiàn)圖1和圖2)。兩條USB 3.0數(shù)據(jù)線將攝像頭影像傳輸至主機(jī)CPU。

　　微軟編寫(xiě)了自己的實(shí)時(shí)圖像信號(hào)處理流程，以便對(duì)Bayer圖像進(jìn)行去馬賽克處理，校正透鏡失真和修正顏色。光子到光子的延遲大約是50ms。利用后期再投影單應(yīng)性矩陣糾正這種延遲的效果出奇的優(yōu)秀。

　　通過(guò)自定義同步電路板(圖3)令攝像頭與顯示器同步(由微軟研究院實(shí)驗(yàn)室的硬件實(shí)驗(yàn)室設(shè)計(jì)和構(gòu)建)。它由來(lái)自頭顯顯示電路的垂直刷新信號(hào)觸發(fā)。任何商用頭顯的外部不存在這種信號(hào)，因此微軟打開(kāi)了頭顯外殼，并在顯示電路板上探測(cè)引腳，從而找到了具有正確顯示更新頻率的信號(hào)。

　　這些早期原型展現(xiàn)了巨大的潛力，并鼓勵(lì)我們探索第二代頭顯，而微軟是從2017年夏天開(kāi)始相關(guān)的項(xiàng)目。第一代的最大缺點(diǎn)是大型機(jī)器視覺(jué)攝像頭的體積和重量，以及顯示器的低分辨率。兩者都已經(jīng)在第二代設(shè)備中得到解決。

　　新款頭顯采用了由微軟研究院實(shí)驗(yàn)室的硬件實(shí)驗(yàn)室設(shè)計(jì)和制造的定制攝像頭控制電路板，后者搭載了一個(gè)滾動(dòng)快門圖像傳感器OmniVision OV4689，可以在手機(jī)形狀參數(shù)中以90Hz的速度捕捉400萬(wàn)像素。攝像頭與VR頭顯顯示器的同步是通過(guò)利用來(lái)自顯示控制器電路板的同步信號(hào)，但同步電路完全包含在攝像頭控制器電路板中。

　　(圖片來(lái)源：云圖視覺(jué))

　　與當(dāng)前同等分辨率和幀速率的最小機(jī)器視覺(jué)系統(tǒng)相比，新的攝像頭模塊更小，重量更輕(圖4和圖5)�？紤]到只有2 micron-square像素，圖像質(zhì)量也出乎意料地好。

　　利用Cypress CX3 MIPI to USB橋接芯片，傳感器視頻可以通過(guò)USB 3.0數(shù)據(jù)線傳輸?shù)街鳈C(jī)。芯片的帶寬限制將90Hz的捕捉限制在1920×1440，而不是傳感器所能夠達(dá)到的完整2688×1520分辨率。

　　微軟的工程團(tuán)隊(duì)編寫(xiě)了自定義攝像頭控制器固件，因此可以在主機(jī)PC上的軟件中設(shè)置攝像頭幀速率，曝光和其他傳感器參數(shù)。他們同時(shí)編寫(xiě)了自定義USB驅(qū)動(dòng)程序來(lái)處理通過(guò)USB 3.0數(shù)據(jù)線傳輸?shù)母邤?shù)據(jù)速率視頻。光子到光子的延遲約為50毫秒，這時(shí)再次用后期的再投影單應(yīng)性矩陣進(jìn)行校正。

　　更高的分辨率顯著提升了現(xiàn)實(shí)世界的視場(chǎng)，輕巧的攝像頭模塊使設(shè)備比第一代原型更舒適。另外，混合現(xiàn)實(shí)頭顯的內(nèi)向外追蹤也消除了之前原型的移動(dòng)性限制。這個(gè)系統(tǒng)利用背包電腦，完全可移動(dòng)。

　　微軟生產(chǎn)了大約40臺(tái)這樣的頭顯，并由內(nèi)部的各個(gè)事業(yè)群作為研究目的進(jìn)行使用。據(jù)映維網(wǎng)了解，微軟還正在積極開(kāi)發(fā)未來(lái)的原型，并努力令延遲時(shí)間維持在5-10毫秒范圍內(nèi)。隨著現(xiàn)成頭顯的分辨率增加，他們將制作更高分辨率的原型。