Karl Guttag：微軟HoloLens 2激光顯示解析（一）

　　圖形和圖像顯示領(lǐng)域的知名科技博客Karl Guttag一直以來(lái)都在關(guān)注報(bào)道各個(gè)品牌的AR產(chǎn)品，而其中更是以HoloLens、Magic Leap、蘋果等頭部公司專利和產(chǎn)品居多。

　　關(guān)于微軟HoloLens 2更是Karl Guttag常年的關(guān)注對(duì)象，HoloLens 2采用了全新的LBS與MEMS光學(xué)方案，對(duì)AR光學(xué)行業(yè)都有著積極的影響。而Karl Guttag在去年更是多次直面報(bào)道了HoloLens 2的優(yōu)勢(shì)與劣勢(shì)，包括LBS解析度、衍射波導(dǎo)色散、均勻性等方面進(jìn)行了重點(diǎn)關(guān)注。

　　而近期，隨著HoloLens 2在美國(guó)等地向個(gè)人用戶開放購(gòu)買，Karl個(gè)人購(gòu)買了一臺(tái)，并已體驗(yàn)了幾周時(shí)間。他表示：體驗(yàn)之后推翻自己關(guān)于MicroLED的相關(guān)論斷，由于HoloLens 2的LBS被部分人看做是MicroLED的有力競(jìng)爭(zhēng)技術(shù)，因此Karl再次對(duì)LBS工作方式等進(jìn)行分析。

　　一，LBS無(wú)“彩虹”效應(yīng)

　　經(jīng)過(guò)測(cè)試，Karl已經(jīng)通過(guò)相機(jī)拍攝了幾千張HoloLens 2顯示模組的照片，顯示圖像為測(cè)試圖片，目的是更好的展示畫面細(xì)節(jié)和肉眼不可見的細(xì)節(jié)。

　　結(jié)果發(fā)現(xiàn)，他本人購(gòu)買的HoloLens 2的彩虹效應(yīng)問(wèn)題的確沒(méi)有網(wǎng)絡(luò)上流傳的圖片那么嚴(yán)重，并猜測(cè)其中可能的一個(gè)原因是難以找到代表性的畫面。

　　二，場(chǎng)周期和刷新率

　　對(duì)于掃描顯示設(shè)備而言，精度意味著圖像從上到下一次掃描，而幀則表示一個(gè)時(shí)間點(diǎn)的整幅圖像。目前關(guān)于幀的定義并不明確，因?yàn)橛行┫到y(tǒng)會(huì)從下一幀切換場(chǎng)周期(域)。

　　據(jù)悉，HoloLens 2擁有四個(gè)場(chǎng)周期均為120Hz，而最終合成可能是60Hz或120Hz。

　　三，掃描線和像素的關(guān)系

　　對(duì)于掃描顯示設(shè)備而言，掃描線和像素行是不相等的，對(duì)于HoloLens 2，它的像素行數(shù)量小于掃描線的數(shù)量。

　　四，HoloLens 2的成像原理

　　HoloLens 2的成像是一個(gè)極為復(fù)雜的過(guò)程。

　　1，120Hz頻率

　　據(jù)報(bào)道，HoloLens 2的場(chǎng)頻是120Hz，Karl的測(cè)試也印證了數(shù)據(jù)的準(zhǔn)確性。為了拍攝單個(gè)場(chǎng)景/掃描，可以把相機(jī)快門設(shè)為1/125秒。

　　2，單色有2個(gè)VCSEL

　　根據(jù)微軟光學(xué)架構(gòu)師Bernard Kress此前的演講公布的信息，HoloLens 2共為RGB每種顏色配備2個(gè)激光發(fā)射器。采用垂直堆疊，間隔1個(gè)像素。

　　上圖是雙激光發(fā)射器的結(jié)果，這張圖片是水平線和垂直線放大后的圖像，左側(cè)是經(jīng)過(guò)Photoshop過(guò)濾紅藍(lán)雙色后的結(jié)果，右側(cè)是源輸入圖像。

　　從上圖中可以了解到，圖片左側(cè)為雙像素線條排列，右側(cè)是單像素線條排列，而其中的紅色方塊是單像素排列。

　　其中，左側(cè)雙像素的垂直紋理線每隔兩個(gè)像素也發(fā)生像素偏移，而且像素偏移也是成對(duì)出現(xiàn)，上下不對(duì)齊的像素約半個(gè)像素。同時(shí)，每2個(gè)像素像素偏移原因是單個(gè)場(chǎng)周期中掃描的不同方向，激光在水平掃描的兩個(gè)方向被分散開。

　　五，開啟激光雙向掃描

　　這是本文中最為復(fù)雜的驗(yàn)證部分。經(jīng)過(guò)上面的驗(yàn)證，激光掃描顯示僅在水平線上可以“像素對(duì)齊”的方式顯示，垂直線會(huì)有鋸齒狀。

　　上圖展示了同一張圖(顯示區(qū)域)中，不同區(qū)域的不同情況。其中，左側(cè)會(huì)有明顯的水平方向上的像素重疊導(dǎo)致的明暗條紋，中間區(qū)域則明顯更為均勻。

　　而這個(gè)明暗條紋效應(yīng)就是因?yàn)榧す怆p向掃描引起的。為了進(jìn)一步驗(yàn)證，在HoloLens 2紅色激光器打開比較遲滯，有時(shí)需要10多個(gè)像素才能開啟。通過(guò)上圖中青色區(qū)域?qū)嶋H上對(duì)應(yīng)著測(cè)試圖片中的白色，而這青色條紋實(shí)際上就是對(duì)應(yīng)著激光顯示從黑色到白色的過(guò)渡。其中，左側(cè)的的虛線為激光掃描線的寬度。

　　1，單個(gè)場(chǎng)周期有854條掃描線（不代表像素）

　　在HoloLens 2中顯示像素和實(shí)際的掃描線并不相同，通過(guò)查看明顯的測(cè)試圖可以測(cè)出單個(gè)場(chǎng)周期共有854行掃描線，結(jié)合雙VCSEL堆疊堆疊排列，以及雙向掃描，意味著最大化的方式是四倍的數(shù)量，也意味著LBS有效垂直分辨率(像素)是小于掃描線的數(shù)量的。

　　2，完全、重疊、4行隔行掃描

　　HoloLens 2激光掃描是一個(gè)復(fù)雜的過(guò)程，在此前的推斷中LBS中微型反光鏡的速度還是不夠快，達(dá)不到微軟理想中的分辨率值，至少和微軟宣稱HoloLens 2分辨率的四倍還相差很遠(yuǎn)。雖然HoloLens 2每個(gè)顏色有兩個(gè)激光發(fā)射器，好處是可以讓掃描線數(shù)量翻倍，但實(shí)際運(yùn)行的速度僅有宣稱水平掃描速度的一半。

　　2-1，不均勻“弓形”掃描

　　微軟在uspto中2018/0255278號(hào)專利也明確講述了雙激光掃描器的隔行掃描工作原理。

　　上圖是專利圖6的彩色版，從中我們可以看出雙激光發(fā)射器在重疊部分就出現(xiàn)右圖中明暗條紋出現(xiàn)。單激光掃描曲線是以正弦波(弓形)出現(xiàn)，而這個(gè)正弦波發(fā)生畸變是因?yàn)閱蝹�(gè)或多個(gè)反射鏡。其中，當(dāng)掃描水平翻轉(zhuǎn)時(shí)就會(huì)出現(xiàn)光路重疊部分。

　　結(jié)合右上角圖片來(lái)看，左邊黃色橢圓形對(duì)應(yīng)著“亮、暗、亮”的顯示。而圖片右上角也包括一個(gè)裁切的圖像，其中顯示器掃描線比圖中距離更近，由此判斷雙激光發(fā)射器會(huì)在每側(cè)明顯會(huì)有1/3以上的重疊區(qū)域。

　　圖片中左下角分別增加了紅色和品紅色兩個(gè)隔行掃描場(chǎng)，隔行掃描向下移動(dòng)了2個(gè)像素，這會(huì)在一定程度上填充第一個(gè)場(chǎng)周期的左側(cè)和右側(cè)間隙。

　　2-2，4路隔行掃描

　　Karl談到：有些意外的是HoloLens 2沒(méi)有采用常見的2個(gè)場(chǎng)耦合方式，而是采用了4個(gè)變體場(chǎng)。目前來(lái)看像是通過(guò)雙堆疊激光器進(jìn)行4路隔行掃描來(lái)實(shí)現(xiàn)，而使用正玄波式的掃描如果沒(méi)有沒(méi)有四個(gè)場(chǎng)，則會(huì)出現(xiàn)明顯的明暗條紋。

　　如上圖，Karl找到四個(gè)場(chǎng)的最左側(cè)并進(jìn)行裁切放大，并加入4條白色水平參考線，而圖中的綠色線條為一組掃描線的合成，在回掃過(guò)程中就會(huì)形成更大的激光器。

　　2-3，弓形掃描的程度

　　上圖展示的是一整幅圖片的實(shí)拍圖(僅通過(guò)綠色展示)，而在圖片中也加入了三條輔助對(duì)比線條(紅藍(lán)色)，藍(lán)色為水平，紅色為整個(gè)掃描的曲線程度。

　　上圖展示了黑白雙色圖片上的9個(gè)目標(biāo)區(qū)域，這里面可以看出掃描上的不同。

　　3，4路隔行掃描

　　首先Karl介紹了一種至今投影儀行業(yè)仍然使用的一種像素偏移方式：Faux-K，上圖是4向的像素移動(dòng)的思路。

　　HoloLens 2使用了4向像素移動(dòng)的方式，在四個(gè)區(qū)域中拍攝了變化形式。

　　下圖場(chǎng)周期1和3每隔一個(gè)垂直像素就會(huì)出現(xiàn)向左/向右移動(dòng)1或2個(gè)像素，形成鋸齒狀的效果;場(chǎng)周期2和場(chǎng)4呈現(xiàn)鋸齒狀，與1和3的方向相反。

　　上圖中下方還出現(xiàn)了區(qū)域相疊加后(通過(guò)Photoshop進(jìn)行處理)的結(jié)果，其中1+3、2+4的結(jié)果還算比較合理。

　　在一幅白色背景圖片中，再次展示不同四個(gè)區(qū)域的圖像以及圖像重疊后的效果，甚至將以往各個(gè)區(qū)域融合后的30Hz視覺(jué)效果。

　　通過(guò)上面的兩組圖的4個(gè)場(chǎng)周期疊加后的圖對(duì)比來(lái)看，你會(huì)看到這個(gè)效果仍然不是很理想，這時(shí)你仍能看到一些水平向的明暗紋理等。

　　為了驗(yàn)證上面的平均過(guò)程，Karl通過(guò)不同快門速度拍攝了一組照片，并由此區(qū)分場(chǎng)周期，其中1/30分鐘秒正好對(duì)應(yīng)著四個(gè)場(chǎng)周期，1/120秒對(duì)應(yīng)著1個(gè)場(chǎng)周期，1/8秒對(duì)應(yīng)著15個(gè)場(chǎng)周期。

　　上圖中，1/30秒快門下的圖片仍然存在使用Photoshop多個(gè)場(chǎng)重疊后的條紋，再將快門調(diào)慢到1/8秒后這些條紋才明顯不可見。

　　對(duì)相同場(chǎng)周期的樣本進(jìn)行篩查后可以看出，HoloLens 2在相同場(chǎng)周期下的變化并不大，例如上圖中那樣。不過(guò)仔細(xì)看還會(huì)有細(xì)微差別，例如紅色箭頭處像素寬度不同。其中還有一些次像素的變化(目前還不確定，后續(xù)進(jìn)行討論)。

　　簡(jiǎn)單來(lái)說(shuō)，像素移動(dòng)的好處是“隱藏”式的改善了部分拖影情況，改善了“紗窗效應(yīng)”同時(shí)也銳利的邊緣進(jìn)行模糊化。在HoloLens 2中，就是通過(guò)像素移動(dòng)的方式實(shí)現(xiàn)雙向掃描。

　　4，60Hz與30Hz閃爍現(xiàn)象

　　像素移動(dòng)是因?yàn)樗�隨著時(shí)間變化而呈現(xiàn)整幅圖像，因此我們眼鏡去觀察時(shí)就會(huì)產(chǎn)生短暫偽影，也就是“閃爍現(xiàn)象”，經(jīng)過(guò)4個(gè)場(chǎng)周期，然后通過(guò)4幀獲得完整的圖像。在120Hz的基準(zhǔn)刷新率下，會(huì)存在60Hz或30Hz的閃爍成分。

　　在1990年代，CRT顯示器往往有200nit、約85Hz的非隔行刷新率，而HoloLens 2據(jù)表明有500ni最大亮度，下圖是它的刷新率和亮度的示意圖，可以其建議HoloLens 2在95Hz以上的非隔行刷新。

　　HoloLens 2的另一個(gè)問(wèn)題是人眼的周圍視覺(jué)更容易產(chǎn)生閃爍，在隔行交錯(cuò)的過(guò)程，當(dāng)黑色出現(xiàn)和消失時(shí)，閃爍為最明顯。

　　較慢的短暫偽影會(huì)形成波紋狀的視覺(jué)效果。特別是在用戶移動(dòng)頭部或眼睛時(shí)看到的實(shí)心區(qū)域會(huì)產(chǎn)生條紋，以至于文本閱讀更為困難。

　　5，紅色激光束的問(wèn)題

　　如上文提到，紅色激光從全黑場(chǎng)景開啟時(shí)會(huì)存在一些問(wèn)題，就是背景中的白色會(huì)產(chǎn)生青色的偏色，而在HoloLens 2中亮度較低的情況下會(huì)更為明顯。

　　上圖是全彩圖片實(shí)拍圖，右側(cè)是處理過(guò)后的單紅色圖像。其中，左側(cè)黃色橢圓形內(nèi)中間區(qū)域比中間左側(cè)區(qū)域的青色要更為明顯，在右側(cè)紅色處理圖像的中間區(qū)域才切圖則沒(méi)有明顯的紅色。

　　造成這種影響是因?yàn)閽呙柽^(guò)程中，外部速度較慢，而中心的光則以最大速度移動(dòng)。因此，如顯示相同的像素寬度就需要激光器更快速的切換。

　　6，反射鏡頻率為27000Hz，而非54000Hz

　　根據(jù)The Verge在HoloLens 2上市時(shí)的報(bào)道，其從微軟獲得的信息是HoloLens 2中的激光反射鏡會(huì)以54000/秒的速度擺動(dòng)。

　　而根據(jù)微軟2018/0255278專利來(lái)看，當(dāng)前MEMS技術(shù)的限制了反射鏡的擺動(dòng)速度，也就會(huì)影響分辨率。其中，27000Hz的水平掃描速率與60Hz顯示對(duì)應(yīng)，圖像的分辨率可達(dá)720p。而在近眼顯示設(shè)備中，720p會(huì)導(dǎo)致模糊。

　　這似乎也表明了HoloLens 2中發(fā)射鏡工作頻率要大于27000Hz才行，因此采用雙激光器堆疊的設(shè)計(jì)。而在HoloLens 2中720p分辨率或更低時(shí)就會(huì)顯得很模糊。

　　其中，HoloLens 2每秒會(huì)產(chǎn)生120個(gè)場(chǎng)周期，根據(jù)實(shí)拍的圖像來(lái)看，每場(chǎng)中有854(±4)次激光掃描，將2個(gè)堆疊的激光發(fā)射器，進(jìn)行雙向掃描，因此反射鏡的工作頻率為854÷4=213.5個(gè)場(chǎng)周期，213.5×120Hz≈256000Hz或27000Hz，包含5%的垂直折回。

　　7，視場(chǎng)角約43×29度

　　通過(guò)Karl使用的奧林巴斯 25mm焦段四三系統(tǒng)鏡頭的視場(chǎng)角約37.6×28.2度，而HoloLens 2的顯示圖像正好超出相機(jī)水平視場(chǎng)角的5%左右。

　　六，結(jié)論：技術(shù)先進(jìn)，結(jié)果糟糕

　　雖然微軟HoloLens 2中采用的技術(shù)的確令人興奮，尤其是激光發(fā)射器以及整個(gè)模組的精度。而Karl本人也已自在研究LBS激光掃描顯示方案，包括Cynic的方案，以及Celluon投影機(jī)使用的Microvision與索尼LBS引擎方案。

　　而經(jīng)過(guò)上述測(cè)試，Karl表明：HoloLens 2是一款采用了“先進(jìn)的”、“驚人的”技術(shù)，比此前他本人測(cè)試的Microvision設(shè)備的激光對(duì)準(zhǔn)要表現(xiàn)好很多倍。雖然花費(fèi)了大量的時(shí)間和經(jīng)費(fèi)，但LBS激光掃描方案的最終效果目前仍然難能達(dá)到令人滿意。雖然經(jīng)過(guò)了重新采樣，但很難給出一個(gè)明確的分辨率，他認(rèn)為一塊800×600分辨率的屏幕表現(xiàn)可能會(huì)比HoloLens 2的顯示效果更好、更清晰。

　　參考：Karl Guttag