索尼AR/VR專利探索減少全息顯示虛擬圖像失真的技術(shù)

　　在全息顯示系統(tǒng)中，減少圖像失真是一個(gè)重要的課題。在名為“Image display apparatus”的專利申請(qǐng)中，索尼描述了一種能夠減少根據(jù)視點(diǎn)位置改變而發(fā)生的虛擬圖像失真的技術(shù)。

　　為了實(shí)現(xiàn)這一目的，專利描述的圖像顯示設(shè)備包括發(fā)射單元、衍射光學(xué)元件和發(fā)射控制單元。發(fā)射單元發(fā)射目標(biāo)圖像的圖像光。衍射光學(xué)元件包括入射表面和發(fā)射表面，衍射進(jìn)入入射表面的圖像光，從發(fā)射表面發(fā)射圖像光，并顯示作為目標(biāo)圖像的虛像。

　　使用根據(jù)取決于視點(diǎn)位置變化的虛擬圖像顯示狀態(tài)變化而生成的圖像數(shù)據(jù)，發(fā)光控制單元控制發(fā)光單元的圖像光發(fā)光。虛擬圖像顯示狀態(tài)的改變可以包括虛擬圖像的顯示器位置改變、虛擬圖像的亮度改變或虛擬圖像的色度改變中的至少一個(gè)。

　　發(fā)射單元可以發(fā)射作為與多個(gè)視點(diǎn)位置相對(duì)應(yīng)的多個(gè)目標(biāo)圖像的多個(gè)視點(diǎn)圖像中的每一個(gè)的視點(diǎn)圖像光。在這種情況下，發(fā)射控制單元可以通過(guò)使用與多個(gè)視點(diǎn)圖像相對(duì)應(yīng)，并且根據(jù)多條視點(diǎn)圖像數(shù)據(jù)來(lái)控制發(fā)射單元對(duì)視點(diǎn)圖像光的發(fā)射。

　　在一個(gè)實(shí)施例中，可以對(duì)多條視點(diǎn)圖像數(shù)據(jù)進(jìn)行圖像處理，以校正虛擬圖像的顯示狀態(tài)的變化。可根據(jù)衍射光學(xué)元件的光學(xué)屬性執(zhí)行用于校正虛擬圖像顯示狀態(tài)變化的圖像處理。其中，所述圖像處理可以包括在預(yù)定方向連續(xù)地對(duì)多條視點(diǎn)圖像數(shù)據(jù)中的每一個(gè)執(zhí)行校正處理。

　　發(fā)射單元可以包括多個(gè)投影儀。在這種情況下使用從多個(gè)投影儀中的每個(gè)投影儀發(fā)射的圖像光作為對(duì)應(yīng)的圖像光，發(fā)射控制單元可以使用與多個(gè)投影儀相對(duì)應(yīng)的多條對(duì)應(yīng)圖像數(shù)據(jù)來(lái)控制多個(gè)投影儀中的每一個(gè)的對(duì)應(yīng)圖像光的發(fā)射，從而控制發(fā)射單元的圖像光發(fā)射。同時(shí)，可以根據(jù)取決于視點(diǎn)位置改變的虛擬圖像顯示狀態(tài)改變來(lái)生成多條對(duì)應(yīng)的圖像數(shù)據(jù)。

　　發(fā)射單元可以發(fā)射作為與多個(gè)視點(diǎn)位置相對(duì)應(yīng)的多個(gè)目標(biāo)圖像的多個(gè)視點(diǎn)圖像中的每一個(gè)的視點(diǎn)圖像光。在這種情況下，多條對(duì)應(yīng)圖像數(shù)據(jù)中的每一條可以被劃分為多個(gè)圖像區(qū)域，其中至少一個(gè)圖像區(qū)域?qū)��?yīng)于視點(diǎn)圖像的一部分。

　　可以對(duì)多條對(duì)應(yīng)圖像數(shù)據(jù)中的每一個(gè)圖像數(shù)據(jù)進(jìn)行圖像處理，以針對(duì)多個(gè)圖像區(qū)域中的每個(gè)圖像區(qū)域校正虛擬圖像的顯示狀態(tài)的變化。用于校正的圖像處理可以包括在預(yù)定方向連續(xù)地對(duì)多個(gè)圖像區(qū)域中的每個(gè)圖像區(qū)域執(zhí)行校正處理。

　　發(fā)射單元可以包括由雙凸透鏡系統(tǒng)、透鏡陣列系統(tǒng)或視差屏障系統(tǒng)中的任何一個(gè)系統(tǒng)構(gòu)成的多視圖顯示器。多視圖顯示器可以發(fā)射多個(gè)視點(diǎn)圖像中的每一個(gè)的視點(diǎn)圖像光，所述多個(gè)視點(diǎn)是與多個(gè)視點(diǎn)位置相對(duì)應(yīng)的多個(gè)目標(biāo)圖像。在這種情況下，多視點(diǎn)圖像數(shù)據(jù)可以劃分為與多個(gè)視點(diǎn)圖像相對(duì)應(yīng)的多個(gè)圖像區(qū)域。

　　可以對(duì)多視點(diǎn)圖像數(shù)據(jù)進(jìn)行圖像處理，以針對(duì)多個(gè)圖像區(qū)域中的每個(gè)圖像區(qū)域校正虛擬圖像的顯示狀態(tài)變化。

　　在一個(gè)實(shí)施例中，衍射光學(xué)元件可以是反射全息光學(xué)元件或透射全息光學(xué)元件。

　　另外，圖像顯示設(shè)備同時(shí)可以包括檢測(cè)視點(diǎn)位置的檢測(cè)單元。在這種情況下，根據(jù)顯示狀態(tài)的改變而生成的圖像數(shù)據(jù)可以是根據(jù)視點(diǎn)位置而生成的數(shù)據(jù)。同時(shí)，發(fā)射控制單元可以基于檢測(cè)到的視點(diǎn)位置來(lái)控制發(fā)射單元對(duì)圖像光的發(fā)射。

　　圖1描述了所述圖像顯示設(shè)備的基本配置。圖像顯示設(shè)備100用作虛擬圖像顯示設(shè)備，并且能夠向用戶顯示虛擬圖像。

　　如圖1所示，圖像顯示設(shè)備100包括發(fā)射單元5、衍射光學(xué)元件(DOE)6和發(fā)射控制單元7。發(fā)射單元5發(fā)射目標(biāo)圖像的圖像光8。目標(biāo)圖像是作為顯示目標(biāo)的圖像。圖像光是配置圖像的光。

　　衍射光學(xué)元件6包括入射表面10和發(fā)射表面11，衍射進(jìn)入入射表面10的圖像光8，從發(fā)射表面11發(fā)射圖像光8并顯示作為目標(biāo)圖像的虛像1。

　　在圖1中，其上形成有虛擬圖像1的虛擬圖像表面3示為虛線區(qū)域。在一個(gè)實(shí)施例中，全息光學(xué)元件(HOE)可以用作衍射光學(xué)元件6。例如，配置為以預(yù)定發(fā)射角發(fā)射以預(yù)定入射角進(jìn)入HOE的光的HOE可以用作衍射光學(xué)元件6。

　　所以，可以在期望的方向上發(fā)射進(jìn)入HOE(衍射光學(xué)元件6)的光。HOE可以具有平面鏡/曲面鏡的屬性。

　　在圖1A所示的示例中，反射全息光學(xué)元件(反射HOE)9a可以用作衍射光學(xué)元件6。反射HOE 9a配置為在特定角度范圍內(nèi)衍射進(jìn)入入射表面10的光，并將光發(fā)射到與入射表面10相同的表面。因此，如圖1A所示，在反射HOE 9a中，入射表面10和發(fā)射表面11是相同的表面。

　　在特定角度范圍內(nèi)進(jìn)入反射HOE 9a的光以取決于入射角的發(fā)射角被反射。另外，以不同于特定角度范圍的入射角進(jìn)入反射型HOE 9a的光不太可能被干涉條紋衍射并穿過(guò)反射型HOE9a。

　　因此，通過(guò)反射HOE 9a配置透明虛擬圖像屏幕，并且可以顯示通過(guò)虛擬圖像屏幕疊加在背景上的虛擬圖像1。

　　在圖1B所示的示例中，透射全息光學(xué)元件(透射HOE)9b可以用作衍射光學(xué)元件6。透射HOE 9b配置為在特定角度范圍內(nèi)衍射進(jìn)入入射表面10的光，并將光發(fā)射到與入射表面10相對(duì)的表面。因此，在透射HOE 9b中，入射表面10和發(fā)射表面11是彼此相對(duì)的表面。

　　在特定角度范圍內(nèi)進(jìn)入透射HOE 9b的光以取決于入射角的發(fā)射角從發(fā)射表面11發(fā)射。另外，以不同于特定角度范圍的入射角進(jìn)入透射型HOE 9b的光不太可能被干涉條紋衍射并穿過(guò)透射型HOE9b。

　　所以，透射式HOE 9b構(gòu)成透明虛擬圖像屏幕，并且可以顯示通過(guò)虛擬圖像屏幕疊加在背景的虛擬圖像1。

　　發(fā)射控制單元7通過(guò)使用根據(jù)虛擬圖像1的顯示狀態(tài)變化(取決于視點(diǎn)位置2的變化)生成的圖像數(shù)據(jù)15來(lái)控制發(fā)射單元5對(duì)圖像光8的發(fā)射。因此，可以減少取決于視點(diǎn)位置2的變化的虛擬圖像1的顯示狀態(tài)變化。

　　圖2是示出作為圖1所示的圖像顯示設(shè)備100的實(shí)施例的多視點(diǎn)顯示設(shè)備110的配置示例的示意圖。圖2A示出了包括反射HOE 9a的配置示例。圖2B示出了包括透射HOE 9b的配置示例。在圖2B中，省略了虛擬圖像1和虛擬圖像表面3的圖示。

　　多視點(diǎn)顯示設(shè)備110包括多視點(diǎn)視頻源17、HOE 9(9a和9b)和發(fā)射控制單元7。多視點(diǎn)視頻源17用作圖1所示的發(fā)射單元5。

　　多視點(diǎn)視頻源17能夠顯示與多個(gè)視點(diǎn)位置2(2a至2c)相對(duì)應(yīng)的多個(gè)視點(diǎn)圖像18。即，多視點(diǎn)視頻源17能夠發(fā)射多個(gè)視點(diǎn)圖像18(18a至18c)中的各個(gè)視點(diǎn)圖像光線19(19a至19c)。

　　多個(gè)視點(diǎn)圖像18(18a至18c)對(duì)應(yīng)于與多個(gè)視點(diǎn)位置2(2a至2c)相對(duì)應(yīng)的多個(gè)目標(biāo)圖像。HOE 9(9a和9b)衍射并發(fā)射從多視點(diǎn)視頻源17發(fā)射的多個(gè)視點(diǎn)圖像光線19(19a至19c)。因此，顯示多個(gè)視點(diǎn)圖像18(18a至18c)中的每一個(gè)的虛擬圖像1。

　　圖3是示出視點(diǎn)圖像18a至18c的示例的示意圖。作為與視點(diǎn)位置2b相對(duì)應(yīng)的視點(diǎn)圖像18b，視點(diǎn)位置2b是相對(duì)于多視點(diǎn)顯示設(shè)備110在前方的位置，顯示當(dāng)從前方觀看對(duì)象21時(shí)的圖像。視點(diǎn)圖像18b是由視點(diǎn)圖像光線19b構(gòu)成的圖像。

　　作為與視點(diǎn)位置2a相對(duì)應(yīng)的視點(diǎn)圖像18a，視點(diǎn)位置2a是相對(duì)于多視點(diǎn)顯示設(shè)備110從前方的視點(diǎn)位置2b向左移動(dòng)的位置，顯示當(dāng)從左側(cè)傾斜地看到對(duì)象21時(shí)的圖像。視點(diǎn)圖像18a是由視點(diǎn)圖像光線19a構(gòu)成的圖像。

　　作為與視點(diǎn)位置2c相對(duì)應(yīng)的視點(diǎn)圖像18c，所述視點(diǎn)位置是相對(duì)于多視點(diǎn)顯示設(shè)備110從前方的視點(diǎn)位置2b向右移動(dòng)的位置，顯示當(dāng)從右側(cè)傾斜地看到對(duì)象21時(shí)的圖像。視點(diǎn)圖像18c是由視點(diǎn)圖像光線19c構(gòu)成的圖像。

　　因此，可以從前方的視點(diǎn)位置2b觀察視點(diǎn)圖像18b的虛像1�？梢詮淖髠�(cè)的視點(diǎn)位置2a觀察視點(diǎn)圖像18a的虛像1。可以從右側(cè)的視點(diǎn)位置2c觀察視點(diǎn)圖像18c的虛像1。

　　結(jié)果，向左和向右移動(dòng)視點(diǎn)位置2使得能夠觀察到對(duì)象21的不同取向。

　　例如，當(dāng)用戶移動(dòng)視點(diǎn)位置2時(shí)，虛擬圖像1的顯示從移動(dòng)之前從視點(diǎn)位置2觀察到的虛擬圖像1改變?yōu)橐苿?dòng)之后從視點(diǎn)位置2中觀察到的圖像1。如圖3A所示，生成從視點(diǎn)位置2觀察到的每個(gè)虛擬圖像1，從而表達(dá)對(duì)象21的不同取向。換句話說(shuō)，生成與每個(gè)視點(diǎn)位置2相對(duì)應(yīng)的視點(diǎn)圖像18，從而表達(dá)對(duì)象21的不同取向。因此，可以觀察到對(duì)象21的不同取向。

　　圖3B是示出包括圖2B所示的透射HOE 9b的配置中的視點(diǎn)圖像18a至18c的示例的示意圖。

　　在透射HOE 9b用作衍射光學(xué)元件6的情況下，由從多視點(diǎn)視頻源17發(fā)射的視點(diǎn)圖像光線19構(gòu)成的視點(diǎn)圖像18以相對(duì)于用戶的水平翻轉(zhuǎn)狀態(tài)再現(xiàn)。因此，在使用透射HOE 9b的情況下，需要水平翻轉(zhuǎn)并顯示希望再現(xiàn)的圖像。

　　如圖3B所示，通過(guò)水平翻轉(zhuǎn)圖3A所示的視點(diǎn)圖像18(18a至18c)而獲得的圖像被顯示為視點(diǎn)圖像18�？梢詮那胺降囊朁c(diǎn)位置2b觀察通過(guò)水平翻轉(zhuǎn)圖3B所示的視點(diǎn)圖像18b而獲得的虛擬圖像1�？梢詮淖髠�(cè)的視點(diǎn)位置2a觀察通過(guò)水平翻轉(zhuǎn)圖3B所示的視點(diǎn)圖像18a而獲得的虛擬圖像1�？梢詮挠覀�(cè)的視點(diǎn)位置2c觀察通過(guò)水平翻轉(zhuǎn)圖3B所示的視點(diǎn)圖像18c而獲得的虛擬圖像1。

　　結(jié)果，向左和向右移動(dòng)視點(diǎn)位置2使得能夠觀察到對(duì)象21的不同取向。

　　發(fā)射控制單元7通過(guò)使用與多個(gè)視點(diǎn)圖像18對(duì)應(yīng)的多條視點(diǎn)圖像數(shù)據(jù)來(lái)控制多視點(diǎn)視頻源17的視點(diǎn)圖像光線19(19a到19c)的發(fā)射。

　　在松鼠實(shí)施例中，使用用于分別顯示圖3A和圖B所示的多個(gè)視點(diǎn)圖像18a至18c的多條視點(diǎn)圖像數(shù)據(jù)。

　　多條視點(diǎn)圖像數(shù)據(jù)包括根據(jù)虛擬圖像1的顯示狀態(tài)的改變而生成的圖像數(shù)據(jù)15。其中，虛擬圖像1取決于圖1所示的視點(diǎn)位置2的改變。即，根據(jù)取決于視點(diǎn)位置2的變化的虛擬圖像1的顯示狀態(tài)變化來(lái)生成多條視點(diǎn)圖像數(shù)據(jù)。

　　另外，多條視點(diǎn)圖像數(shù)據(jù)是經(jīng)過(guò)圖像處理的圖像數(shù)據(jù)，而圖像處理用于校正取決于視點(diǎn)位置2的變化的虛擬圖像1的顯示狀態(tài)變化。

　　圖4示出了多視點(diǎn)視頻源17的示例的示意圖。多視點(diǎn)視頻源17通過(guò)多投影儀系統(tǒng)的顯示器來(lái)實(shí)現(xiàn)。在多視點(diǎn)視頻源17中，多個(gè)視點(diǎn)圖像光線19a至19c通過(guò)將多個(gè)投影儀26a至26e的圖像光線投射到透射各向異性漫射屏25而發(fā)射。

　　各向異性漫射屏25漫射并透射分別從多個(gè)投影儀26a至26e發(fā)射的相應(yīng)圖像光線27a至27e。因此，多個(gè)視點(diǎn)圖像光線19a至19c從各向異性擴(kuò)散屏25朝向透射HOE 9b發(fā)射。

　　透射型各向異性擴(kuò)散屏25具有例如在水平方向和垂直方向上具有不同擴(kuò)散率的各向異性擴(kuò)散特性。通過(guò)布置各向異性擴(kuò)散屏25，可以以適當(dāng)?shù)膶挾仍佻F(xiàn)由視點(diǎn)圖像光線19構(gòu)成的視點(diǎn)圖像18。

　　多個(gè)投影儀26a至26e向各向異性擴(kuò)散屏25投影圖像。即，多個(gè)投影儀26a至26e向各向異性擴(kuò)散屏25發(fā)射相應(yīng)的圖像光線27a至27e。

　　作為投影儀26的光源，可以使用激光光源。因此，可以使用具有窄波長(zhǎng)寬度的彩色光來(lái)顯示視點(diǎn)圖像18，從而提高透射HOE 9b的衍射效率，并且可以提高顯示亮度。另外，可以避免由于透射HOE 9b的色散引起的圖像模糊等。

　　圖5示出了由多視點(diǎn)視頻源17再現(xiàn)的多個(gè)視點(diǎn)圖像18a至18c。視點(diǎn)圖像光線19a構(gòu)成視點(diǎn)圖像18a，視點(diǎn)圖像光線18b構(gòu)成視點(diǎn)圖像18。另外，視點(diǎn)圖像光線19c構(gòu)成視點(diǎn)圖像18c。

　　如圖5所示，與對(duì)應(yīng)圖像數(shù)據(jù)29的三個(gè)圖像區(qū)域30一樣，每個(gè)視點(diǎn)圖像18在左右方向分成三個(gè)部分。

　　圖4所示的視點(diǎn)圖像光線19a由以下相應(yīng)的圖像光構(gòu)成�；�于對(duì)應(yīng)圖像數(shù)據(jù)29a的左側(cè)區(qū)域30a1(構(gòu)成由投影儀26a投影的圖像的左側(cè)區(qū)域的圖像光) 基于對(duì)應(yīng)圖像數(shù)據(jù)29b的中間區(qū)域30b2(構(gòu)成由投影儀26b投影的圖像的中間區(qū)域的圖像光) 基于對(duì)應(yīng)圖像數(shù)據(jù)29c的右側(cè)區(qū)域30c3(構(gòu)成由投影儀26c投影的圖像的右側(cè)區(qū)域的圖像光)

　　因此，圖5所示的視點(diǎn)圖像18a通過(guò)組合分別由投影儀26a、26b和26c投影的圖像的部分(左區(qū)域、中間區(qū)域和右區(qū)域)來(lái)實(shí)現(xiàn)。

　　對(duì)于前方的視點(diǎn)位置2b。除了來(lái)自前方的投影儀26c的光束(中間區(qū)域30c2的對(duì)應(yīng)圖像光線27c)之外，來(lái)自左側(cè)和右側(cè)與其相鄰的投影儀26b和26d的光束(左側(cè)區(qū)域30b1的對(duì)應(yīng)圖像光線27b和右側(cè)區(qū)域30d3的對(duì)應(yīng)圖像光束27d)同樣進(jìn)入眼睛。

　　來(lái)自每個(gè)投影儀26的光束(每個(gè)圖像區(qū)域30的對(duì)應(yīng)圖像光線27)被具有寬度的各向異性擴(kuò)散屏25擴(kuò)散。因此，利用以條形分割的三個(gè)圖像區(qū)域30的光束，用戶可以觀察單個(gè)圖像，亦即虛擬圖像1。

　　另外，在其他視點(diǎn)位置2a和2c，用戶可以觀察單個(gè)圖像，亦即虛擬圖像1。

　　名為“Image display apparatus”的索尼專利申請(qǐng)最初在2022年6月提交，并在日前由美國(guó)專利商標(biāo)局公布。