微軟專利為Web混合現(xiàn)實環(huán)境提供背景顏色技術解決方案

　　混合現(xiàn)實結合了計算機處理、人類輸入和環(huán)境輸入，并提供了一種融合物理世界和數(shù)字世界的體驗�；旌犀F(xiàn)實環(huán)境的各種元素可以進行定制以滿足混合現(xiàn)實環(huán)境提供者的需求，例如混合現(xiàn)實環(huán)境的背景顏色和/或背景圖像。

　　創(chuàng)作者通常會創(chuàng)建混合現(xiàn)實環(huán)境元素的多個副本，以表示可定制元素的每個排列。然而，這種方法消耗了大量的計算、網(wǎng)絡和內存資源。所以，我們需要一種改進為Web混合現(xiàn)實環(huán)境有效提供顏色主題的技術解決方案。

　　針對這個問題，微軟在名為“Efficient color theming of background images in web-based mixed reality environments”的專利申請中提出了自己的方法。簡單來說，本文提出的方法用于在Web混合現(xiàn)實環(huán)境中有效地對背景圖像進行顏色主題化，從而有效地定制混合現(xiàn)實環(huán)境的元素。

　　混合現(xiàn)實環(huán)境的背景通常是通過將背景圖像應用到skybox天空盒來生成的。天空盒是一個包含整個場景的立方體，其中背景圖像映射到立方體的面。

　　為了在當前系統(tǒng)中支持在混合現(xiàn)實環(huán)境中自定義背景圖像和圖像顏色，通常需要為支持的每個背景顏色生成多個版本的背景圖像，并將其提供給將渲染混合現(xiàn)實環(huán)境的客戶端設備。但不同的是，微軟提出的方案向客戶端設備提供背景圖像的單個灰度圖像，并且客戶端設備配置為通過設置基色映射值來將背景顏色動態(tài)應用于背景圖像。團隊指出，這種方法可以顯著減少計算、網(wǎng)絡和/或內存資源。

　　在一個實施例中，混合現(xiàn)實服務可以提供一個或多個Web可訪問的混合現(xiàn)實環(huán)境。混合現(xiàn)實服務可以配置為提供用于創(chuàng)建新的混合現(xiàn)實環(huán)境、配置混合現(xiàn)實環(huán)境和發(fā)布混合現(xiàn)實環(huán)境的工具。用戶可以從客戶端設備的Web瀏覽器訪問混合現(xiàn)實環(huán)境。

　　圖2是用于實現(xiàn)混合現(xiàn)實服務的示例架構圖�；旌犀F(xiàn)實服務110可以包括設計單元205和部署單元210�；旌犀F(xiàn)實服務110還可以包括混合現(xiàn)實內容數(shù)據(jù)存儲215，其用于存儲與使用混合現(xiàn)實服務110創(chuàng)建和/或維護的一個或多個混合現(xiàn)實環(huán)境相關聯(lián)的內容。

　　設計單元205可配置為提供用戶界面，以支持用戶創(chuàng)建可使用部署單元210定制的新可定制混合現(xiàn)實環(huán)境。設計單元205可由混合現(xiàn)實服務的提供者用于創(chuàng)建一個或多個可定制的混合現(xiàn)實環(huán)境。可定制的混合現(xiàn)實環(huán)境可被混合現(xiàn)實服務110的客戶用作模板，以創(chuàng)建適合客戶需求的定制混合現(xiàn)實環(huán)境。

　　設計單元205可以提供用戶界面，并允許用戶指定可定制用戶界面的什么特征可以定制。設計單元205的用戶界面可以提供用于選擇可包括在可定制混合現(xiàn)實環(huán)境中的一組背景圖像的方法�；旌犀F(xiàn)實服務110的客戶可以從背景中選擇來定制混合現(xiàn)實環(huán)境的實例。背景圖像可以是灰度圖像，并使用微軟提供的技術在客戶端設備動態(tài)著色。

　　背景圖像可以應用于可應用該圖像的混合現(xiàn)實環(huán)境中的天空盒或其他背景對象，并且可以通過設置天空盒或其他背景對象的反照率顏色值，通過向天空盒或其他背景對象應用顏色來著色背景。可以通過改變天空盒或其他背景對象的反照率顏色值來動態(tài)改變背景的顏色，而不需要每個背景顏色的背景圖像。這種方法可以顯著減少在客戶端設備加載和渲染混合現(xiàn)實環(huán)境時客戶端設備下載的圖像數(shù)量。

　　設計單元205可以配置為將每個背景圖像分割成多個段，并且每個段可以應用于天空盒的面或將應用背景圖像的其他背景對象。背景圖像同時可以在添加到可定制的混合現(xiàn)實環(huán)境之前進行分割。圖3B是示出背景圖像的片段如何針對天空盒定向的示例布局310的圖。圖3C示出了根據(jù)布局310分割的示例背景圖像315。

　　設計單元205同時可以提供用于創(chuàng)建可應用于混合現(xiàn)實環(huán)境的主題的用戶界面。每個主題可以包括顏色方案、用戶界面樣式和/或可應用于混合現(xiàn)實環(huán)境的其他屬性。主題可用于將顏色應用于混合現(xiàn)實環(huán)境的背景和/或其他元素。

　　設計單元205的用戶界面還可以提供選擇可添加到可定制的混合現(xiàn)實環(huán)境中的2D和/或3D對象的方法。混合現(xiàn)實服務110的提供者可以將一個或多個2D和/或3D對象添加到可定制的環(huán)境中。

　　設計單元205的用戶界面可以配置為允許可定制的混合現(xiàn)實環(huán)境的提供者選擇一組2D和/或3D對象，客戶可以從中選擇對象，以便在定制混合現(xiàn)實環(huán)境時將其添加到混合現(xiàn)實環(huán)境中。

　　用戶可以為混合現(xiàn)實環(huán)境選擇默認設置，客戶可以使用可自定義的混合現(xiàn)實環(huán)境自定義設置，以創(chuàng)建可發(fā)布給其他用戶訪問的自定義混合現(xiàn)實環(huán)境。與可定制的混合現(xiàn)實環(huán)境相關聯(lián)的內容可以存儲在混合現(xiàn)實內容數(shù)據(jù)存儲215中。

　　部署單元210可以配置為允許用戶自定義使用設計單元205創(chuàng)建的可定制的混合現(xiàn)實環(huán)境。圖4A示出了可以由部署單元210提供的示例用戶界面405。用戶可以從客戶端設備的瀏覽器訪問用戶界面405。

　　用戶界面405可以包括用于定制混合現(xiàn)實環(huán)境的各個方面的控件。用戶界面405提供要定制的混合現(xiàn)實環(huán)境的視圖435。所述示例顯示了混合現(xiàn)實環(huán)境的默認配置，其中黑白背景圖像已作為紋理應用于表示混合現(xiàn)實環(huán)境背景的天空盒。

　　用戶界面405包括空間設計控件410、背景圖像選擇控件415、背景顏色控件420、歡迎消息控件425、環(huán)境聲音控件430和發(fā)布環(huán)境控件435。

　　空間設計控制410提供了根據(jù)可放置的混合現(xiàn)實環(huán)境的元素來選擇基座形狀的方法。背景圖像可以是分割后的灰度圖像。部署單元210可以配置為分割背景圖像，其中背景圖像尚未被分割。分割的灰度圖像可以作為紋理應用于天空盒的面。

　　背景色控件420提供了將背景色動態(tài)應用于灰度背景圖像的方法。不直接對背景圖像應用顏色，而是將選定的背景顏色應用于客戶端設備的天空盒或其他背景對象，以為混合現(xiàn)實環(huán)境提供彩色背景。下面的示例詳細描述了通過設置應用背景圖像的天空盒或其他背景對象的反照率值來應用灰度圖像的顏色的技術。

　　歡迎消息控件425提供了提供文本、視頻和/或音頻內容的方法，相關內容可在混合現(xiàn)實環(huán)境發(fā)布后呈現(xiàn)給訪問定制混合現(xiàn)實環(huán)境的用戶，以使混合現(xiàn)實環(huán)境供其他用戶使用。環(huán)境聲音控件430提供了添加背景聲音的方。發(fā)布環(huán)境控件410提供發(fā)布混合現(xiàn)實環(huán)境的方法，以使環(huán)境可供其他用戶使用以與混合現(xiàn)實環(huán)境交互。發(fā)布環(huán)境控件410可以提供用于配置通用資源標識符(URL)或其他類型的鏈接或網(wǎng)絡參考以訪問發(fā)布的混合現(xiàn)實環(huán)境的手段。

　　部署單元210可以存儲混合現(xiàn)實環(huán)境的環(huán)境屬性信息。圖5示出了圖5所示示例的環(huán)境屬性信息505的示例。場景屬性可以包括為混合現(xiàn)實環(huán)境選擇的背景的信息510。背景信息510可以包括用于天空盒的每個面的信息。

　　背景信息可以包括參考背景圖像段的URL和用于應用于圖像段的顏色的顏色映射信息。顏色映射信息可以包括反照率參數(shù)，反照率參數(shù)表示原始顏色。應用于天河盒每個面的顏色通常具有相同的顏色值。

　　在圖5所示的示例中，背景信息510指示“山脈背景”已應用于混合現(xiàn)實環(huán)境。將反照率顏色525應用于天空的表面以使背景顯示為正確的顏色。

　　微軟指出，所述方法的一個技術優(yōu)勢是，通過將顏色應用于灰度背景圖像，并通過將反照率顏色設置為應用于將提供灰度圖像的天空盒的每個面，可以為混合現(xiàn)實環(huán)境生成背景的多種顏色。

　　要渲染混合現(xiàn)實環(huán)境的客戶端設備可以創(chuàng)建和下載單個背景圖像，只需下載單個灰度圖像作為背景，并將背景顏色應用于圖像。因此，瀏覽器用于呈現(xiàn)混合現(xiàn)實環(huán)境的計算、網(wǎng)絡和內存資源量將顯著減少。另外，可以在客戶端設備動態(tài)地改變背景顏色，在客戶端設備定制混合現(xiàn)實環(huán)境。

　　圖6是用于定制混合現(xiàn)實環(huán)境的示例過程600的流程圖。過程600可以由圖2所示的混合現(xiàn)實服務110的部署單元210實現(xiàn)。

　　處理600可以包括接收識別要應用于混合現(xiàn)實環(huán)境的背景的背景圖像的指示的操作610�？梢詮目蛻舳嗽O備接收輸入。背景圖像可以從與使用設計單元205創(chuàng)建的可定制混合現(xiàn)實環(huán)境相關聯(lián)的一組背景圖像中選擇。背景圖像可以通過圖4所示的用戶界面405來選擇。

　　如前例所述，混合現(xiàn)實服務110的提供商可以提供可定制的混合現(xiàn)實環(huán)境�？啥ㄖ频幕旌犀F(xiàn)實環(huán)境可以包括由混合現(xiàn)實環(huán)境的設計者選擇的一組背景，并且定制混合現(xiàn)實環(huán)境的用戶可以從組背景中選擇背景。部署單元210可以允許用戶選擇未包括在可定制混合現(xiàn)實環(huán)境中的預選圖像集中的自定義背景圖像。部署單元210可以配置為將所選圖像轉換為灰度圖像，并分割圖像。

　　處理600可以包括接收識別要應用于背景圖像的背景色的指示的操作620。用戶可以從預定顏色列表中選擇。在其他實現(xiàn)中，用戶界面405可以包括顏色選擇器工具，所述工具允許用戶高亮顯示顏色選擇器工具內的顏色以設置背景色。

　　背景色可以存儲在圖5所示的環(huán)境屬性信息505中。所選顏色可以表示為在RGB顏色模型中表示所選顏色的十六進制值，或可以表示為將所選顏色表示為紅色、藍色和綠色分量的十六進制三元組。在其他實現(xiàn)中，可以使用其他顏色模型來表示所選顏色。

　　過程600可以包括存儲包括使用用戶界面405配置的混合現(xiàn)實環(huán)境的屬性的環(huán)境屬性信息505的操作630。環(huán)境屬性信息505可以包括要應用于天空盒或其他背景對象的反照率參數(shù)。反照率參數(shù)可以設置為通過用戶界面405接收的背景色。環(huán)境屬性信息505可以包括使用用戶界面405定制的混合現(xiàn)實環(huán)境的附加屬性。

　　程600可以包括接收發(fā)布混合現(xiàn)實環(huán)境的指示的操作640，以允許通過互聯(lián)網(wǎng)或一個或多個私有網(wǎng)絡訪問混合現(xiàn)實環(huán)境。如在前面的示例所討論，用戶界面405的發(fā)布環(huán)境控件410提供用于發(fā)布混合現(xiàn)實環(huán)境的手段，以使環(huán)境可供其他用戶使用以與混合現(xiàn)實環(huán)境交互。

　　過程600可以包括發(fā)布混合現(xiàn)實環(huán)境的操作650，以允許響應于接收到指示而通過互聯(lián)網(wǎng)或一個或多個私有網(wǎng)絡訪問混合現(xiàn)實環(huán)境。混合現(xiàn)實服務110可以更新環(huán)境屬性信息505，以指示用戶可以訪問定制的混合現(xiàn)實環(huán)境。

　　一旦發(fā)布了混合現(xiàn)實環(huán)境，用戶可以使用通用資源標識符(URL)或與混合現(xiàn)實環(huán)境相關聯(lián)的其他類型的鏈接或網(wǎng)絡參考從其客戶端設備訪問混合現(xiàn)實環(huán)境。

　　圖7是用于在客戶端設備上呈現(xiàn)混合現(xiàn)實環(huán)境的示例過程700的流程圖。過程700可以通過客戶端設備的瀏覽器來實現(xiàn)。

　　過程700可以包括向混合現(xiàn)實服務110發(fā)送關于混合現(xiàn)實環(huán)境的環(huán)境屬性信息505的請求的操作710。環(huán)境屬性信息505包括用于在客戶端設備上顯示混合現(xiàn)實服務的混合現(xiàn)實環(huán)境的屬性。

　　如上所述，環(huán)境屬性信息505可以包括識別包括在混合現(xiàn)實環(huán)境中的對象的信息。環(huán)境屬性信息同時可以識別要用作要應用于混合現(xiàn)實環(huán)境的背景的背景圖像的灰度圖像和要應用于背景的顏色。

　　過程700可以包括從混合現(xiàn)實服務接收環(huán)境屬性信息505的操作720�；旌犀F(xiàn)實服務110可以經(jīng)由網(wǎng)絡120將與混合現(xiàn)實環(huán)境相關聯(lián)的環(huán)境屬性信息505發(fā)送到客戶端設備。

　　過程700可以包括從混合現(xiàn)實服務獲取在環(huán)境屬性信息中識別的灰度背景圖像的操作730。客戶端設備可以從混合現(xiàn)實服務110請求混合現(xiàn)實環(huán)境的元素。

　　所述元素可以在環(huán)境屬性信息505中識別，并且可以包括要應用于混合現(xiàn)實環(huán)境的背景的灰度背景。如前例所述，背景圖像可以分割成多個段，其中每個段對應于天空盒或將應用背景圖像的其他對象的面。

　　過程700可以包括將灰度背景圖像作為紋理應用于混合現(xiàn)實環(huán)境中的背景對象的操作740。背景圖像或圖像段可應用于天空盒或將應用背景圖像的其他對象，如前述示例中所述。

　　客戶端設備的瀏覽器可以實現(xiàn)3D渲染引擎來渲染混合現(xiàn)實環(huán)境。在一個實現(xiàn)中，瀏覽器可以使用Babylon。js實時3D引擎，由JavaScript庫實現(xiàn)，并用于使用HTML5在web瀏覽器中顯示3D圖形。3D渲染引擎可以渲染天空盒或將應用背景圖像的其他對象，然后紋理和/或顏色可以應用于天空盒或其他對象。

　　過程700可以包括基于環(huán)境屬性信息確定要應用于背景對象的背景色的操作750。背景色可以包括在環(huán)境屬性信息505中，至少如圖5所示。

　　過程700可包括將背景色應用于背景對象以創(chuàng)建混合現(xiàn)實環(huán)境的彩色背景的操作760。如在前面的示例中所討論的，可以在環(huán)境屬性信息505中定義要應用于背景的背景色。背景色可以應用于天空盒或應用灰度圖像的其他背景對象。

　　背景色可以設置為用于設置圖像顏色的反照率參數(shù)�？蛻舳嗽O備的Web瀏覽器的3D渲染引擎將背景色作為反照率顏色應用于天空盒或其他對象，灰度圖像在其上作為紋理應用�？梢酝ㄟ^更改天空盒或其他背景對象的反照率參數(shù)值來動態(tài)更新背景顏色。

　　混合現(xiàn)實環(huán)境可以提供用戶界面元素，所述用戶界面元素允許用戶動態(tài)地改變通過客戶端設備的瀏覽器與之交互的混合現(xiàn)實環(huán)境的背景值和/或其他屬性。

　　過程700可以包括在數(shù)據(jù)處理系統(tǒng)的顯示器上顯示混合現(xiàn)實環(huán)境的操作770�；旌犀F(xiàn)實環(huán)境可以顯示在客戶端設備的瀏覽器中，客戶端設備的用戶可以通過與客戶端設備相關聯(lián)的輸入設備與混合現(xiàn)實環(huán)境交互。

　　相關專利：Microsoft Patent | Efficient color theming of background images in web-based mixed reality environments

　　名為“Efficient color theming of background images in web-based mixed reality environments”的微軟專利申請最初在2021年1月提交，并在日期那由美國專利商標局公布。