微軟專利為Web混合現(xiàn)實(shí)環(huán)境提供背景顏色技術(shù)解決方案

　　混合現(xiàn)實(shí)結(jié)合了計(jì)算機(jī)處理、人類輸入和環(huán)境輸入，并提供了一種融合物理世界和數(shù)字世界的體驗(yàn)。混合現(xiàn)實(shí)環(huán)境的各種元素可以進(jìn)行定制以滿足混合現(xiàn)實(shí)環(huán)境提供者的需求，例如混合現(xiàn)實(shí)環(huán)境的背景顏色和/或背景圖像。

　　創(chuàng)作者通常會(huì)創(chuàng)建混合現(xiàn)實(shí)環(huán)境元素的多個(gè)副本，以表示可定制元素的每個(gè)排列。然而，這種方法消耗了大量的計(jì)算、網(wǎng)絡(luò)和內(nèi)存資源。所以，我們需要一種改進(jìn)為Web混合現(xiàn)實(shí)環(huán)境有效提供顏色主題的技術(shù)解決方案。

　　針對(duì)這個(gè)問(wèn)題，微軟在名為“Efficient color theming of background images in web-based mixed reality environments”的專利申請(qǐng)中提出了自己的方法。簡(jiǎn)單來(lái)說(shuō)，本文提出的方法用于在Web混合現(xiàn)實(shí)環(huán)境中有效地對(duì)背景圖像進(jìn)行顏色主題化，從而有效地定制混合現(xiàn)實(shí)環(huán)境的元素。

　　混合現(xiàn)實(shí)環(huán)境的背景通常是通過(guò)將背景圖像應(yīng)用到skybox天空盒來(lái)生成的。天空盒是一個(gè)包含整個(gè)場(chǎng)景的立方體，其中背景圖像映射到立方體的面。

　　為了在當(dāng)前系統(tǒng)中支持在混合現(xiàn)實(shí)環(huán)境中自定義背景圖像和圖像顏色，通常需要為支持的每個(gè)背景顏色生成多個(gè)版本的背景圖像，并將其提供給將渲染混合現(xiàn)實(shí)環(huán)境的客戶端設(shè)備。但不同的是，微軟提出的方案向客戶端設(shè)備提供背景圖像的單個(gè)灰度圖像，并且客戶端設(shè)備配置為通過(guò)設(shè)置基色映射值來(lái)將背景顏色動(dòng)態(tài)應(yīng)用于背景圖像。團(tuán)隊(duì)指出，這種方法可以顯著減少計(jì)算、網(wǎng)絡(luò)和/或內(nèi)存資源。

　　在一個(gè)實(shí)施例中，混合現(xiàn)實(shí)服務(wù)可以提供一個(gè)或多個(gè)Web可訪問(wèn)的混合現(xiàn)實(shí)環(huán)境�；旌犀F(xiàn)實(shí)服務(wù)可以配置為提供用于創(chuàng)建新的混合現(xiàn)實(shí)環(huán)境、配置混合現(xiàn)實(shí)環(huán)境和發(fā)布混合現(xiàn)實(shí)環(huán)境的工具。用戶可以從客戶端設(shè)備的Web瀏覽器訪問(wèn)混合現(xiàn)實(shí)環(huán)境。

　　圖2是用于實(shí)現(xiàn)混合現(xiàn)實(shí)服務(wù)的示例架構(gòu)圖�；旌犀F(xiàn)實(shí)服務(wù)110可以包括設(shè)計(jì)單元205和部署單元210�；旌犀F(xiàn)實(shí)服務(wù)110還可以包括混合現(xiàn)實(shí)內(nèi)容數(shù)據(jù)存儲(chǔ)215，其用于存儲(chǔ)與使用混合現(xiàn)實(shí)服務(wù)110創(chuàng)建和/或維護(hù)的一個(gè)或多個(gè)混合現(xiàn)實(shí)環(huán)境相關(guān)聯(lián)的內(nèi)容。

　　設(shè)計(jì)單元205可配置為提供用戶界面，以支持用戶創(chuàng)建可使用部署單元210定制的新可定制混合現(xiàn)實(shí)環(huán)境。設(shè)計(jì)單元205可由混合現(xiàn)實(shí)服務(wù)的提供者用于創(chuàng)建一個(gè)或多個(gè)可定制的混合現(xiàn)實(shí)環(huán)境�？啥ㄖ频幕旌犀F(xiàn)實(shí)環(huán)境可被混合現(xiàn)實(shí)服務(wù)110的客戶用作模板，以創(chuàng)建適合客戶需求的定制混合現(xiàn)實(shí)環(huán)境。

　　設(shè)計(jì)單元205可以提供用戶界面，并允許用戶指定可定制用戶界面的什么特征可以定制。設(shè)計(jì)單元205的用戶界面可以提供用于選擇可包括在可定制混合現(xiàn)實(shí)環(huán)境中的一組背景圖像的方法�；旌犀F(xiàn)實(shí)服務(wù)110的客戶可以從背景中選擇來(lái)定制混合現(xiàn)實(shí)環(huán)境的實(shí)例。背景圖像可以是灰度圖像，并使用微軟提供的技術(shù)在客戶端設(shè)備動(dòng)態(tài)著色。

　　背景圖像可以應(yīng)用于可應(yīng)用該圖像的混合現(xiàn)實(shí)環(huán)境中的天空盒或其他背景對(duì)象，并且可以通過(guò)設(shè)置天空盒或其他背景對(duì)象的反照率顏色值，通過(guò)向天空盒或其他背景對(duì)象應(yīng)用顏色來(lái)著色背景。可以通過(guò)改變天空盒或其他背景對(duì)象的反照率顏色值來(lái)動(dòng)態(tài)改變背景的顏色，而不需要每個(gè)背景顏色的背景圖像。這種方法可以顯著減少在客戶端設(shè)備加載和渲染混合現(xiàn)實(shí)環(huán)境時(shí)客戶端設(shè)備下載的圖像數(shù)量。

　　設(shè)計(jì)單元205可以配置為將每個(gè)背景圖像分割成多個(gè)段，并且每個(gè)段可以應(yīng)用于天空盒的面或?qū)��?yīng)用背景圖像的其他背景對(duì)象。背景圖像同時(shí)可以在添加到可定制的混合現(xiàn)實(shí)環(huán)境之前進(jìn)行分割。圖3B是示出背景圖像的片段如何針對(duì)天空盒定向的示例布局310的圖。圖3C示出了根據(jù)布局310分割的示例背景圖像315。

　　設(shè)計(jì)單元205同時(shí)可以提供用于創(chuàng)建可應(yīng)用于混合現(xiàn)實(shí)環(huán)境的主題的用戶界面。每個(gè)主題可以包括顏色方案、用戶界面樣式和/或可應(yīng)用于混合現(xiàn)實(shí)環(huán)境的其他屬性。主題可用于將顏色應(yīng)用于混合現(xiàn)實(shí)環(huán)境的背景和/或其他元素。

　　設(shè)計(jì)單元205的用戶界面還可以提供選擇可添加到可定制的混合現(xiàn)實(shí)環(huán)境中的2D和/或3D對(duì)象的方法�；旌犀F(xiàn)實(shí)服務(wù)110的提供者可以將一個(gè)或多個(gè)2D和/或3D對(duì)象添加到可定制的環(huán)境中。

　　設(shè)計(jì)單元205的用戶界面可以配置為允許可定制的混合現(xiàn)實(shí)環(huán)境的提供者選擇一組2D和/或3D對(duì)象，客戶可以從中選擇對(duì)象，以便在定制混合現(xiàn)實(shí)環(huán)境時(shí)將其添加到混合現(xiàn)實(shí)環(huán)境中。

　　用戶可以為混合現(xiàn)實(shí)環(huán)境選擇默認(rèn)設(shè)置，客戶可以使用可自定義的混合現(xiàn)實(shí)環(huán)境自定義設(shè)置，以創(chuàng)建可發(fā)布給其他用戶訪問(wèn)的自定義混合現(xiàn)實(shí)環(huán)境。與可定制的混合現(xiàn)實(shí)環(huán)境相關(guān)聯(lián)的內(nèi)容可以存儲(chǔ)在混合現(xiàn)實(shí)內(nèi)容數(shù)據(jù)存儲(chǔ)215中。

　　部署單元210可以配置為允許用戶自定義使用設(shè)計(jì)單元205創(chuàng)建的可定制的混合現(xiàn)實(shí)環(huán)境。圖4A示出了可以由部署單元210提供的示例用戶界面405。用戶可以從客戶端設(shè)備的瀏覽器訪問(wèn)用戶界面405。

　　用戶界面405可以包括用于定制混合現(xiàn)實(shí)環(huán)境的各個(gè)方面的控件。用戶界面405提供要定制的混合現(xiàn)實(shí)環(huán)境的視圖435。所述示例顯示了混合現(xiàn)實(shí)環(huán)境的默認(rèn)配置，其中黑白背景圖像已作為紋理應(yīng)用于表示混合現(xiàn)實(shí)環(huán)境背景的天空盒。

　　用戶界面405包括空間設(shè)計(jì)控件410、背景圖像選擇控件415、背景顏色控件420、歡迎消息控件425、環(huán)境聲音控件430和發(fā)布環(huán)境控件435。

　　空間設(shè)計(jì)控制410提供了根據(jù)可放置的混合現(xiàn)實(shí)環(huán)境的元素來(lái)選擇基座形狀的方法。背景圖像可以是分割后的灰度圖像。部署單元210可以配置為分割背景圖像，其中背景圖像尚未被分割。分割的灰度圖像可以作為紋理應(yīng)用于天空盒的面。

　　背景色控件420提供了將背景色動(dòng)態(tài)應(yīng)用于灰度背景圖像的方法。不直接對(duì)背景圖像應(yīng)用顏色，而是將選定的背景顏色應(yīng)用于客戶端設(shè)備的天空盒或其他背景對(duì)象，以為混合現(xiàn)實(shí)環(huán)境提供彩色背景。下面的示例詳細(xì)描述了通過(guò)設(shè)置應(yīng)用背景圖像的天空盒或其他背景對(duì)象的反照率值來(lái)應(yīng)用灰度圖像的顏色的技術(shù)。

　　歡迎消息控件425提供了提供文本、視頻和/或音頻內(nèi)容的方法，相關(guān)內(nèi)容可在混合現(xiàn)實(shí)環(huán)境發(fā)布后呈現(xiàn)給訪問(wèn)定制混合現(xiàn)實(shí)環(huán)境的用戶，以使混合現(xiàn)實(shí)環(huán)境供其他用戶使用。環(huán)境聲音控件430提供了添加背景聲音的方。發(fā)布環(huán)境控件410提供發(fā)布混合現(xiàn)實(shí)環(huán)境的方法，以使環(huán)境可供其他用戶使用以與混合現(xiàn)實(shí)環(huán)境交互。發(fā)布環(huán)境控件410可以提供用于配置通用資源標(biāo)識(shí)符(URL)或其他類型的鏈接或網(wǎng)絡(luò)參考以訪問(wèn)發(fā)布的混合現(xiàn)實(shí)環(huán)境的手段。

　　部署單元210可以存儲(chǔ)混合現(xiàn)實(shí)環(huán)境的環(huán)境屬性信息。圖5示出了圖5所示示例的環(huán)境屬性信息505的示例。場(chǎng)景屬性可以包括為混合現(xiàn)實(shí)環(huán)境選擇的背景的信息510。背景信息510可以包括用于天空盒的每個(gè)面的信息。

　　背景信息可以包括參考背景圖像段的URL和用于應(yīng)用于圖像段的顏色的顏色映射信息。顏色映射信息可以包括反照率參數(shù)，反照率參數(shù)表示原始顏色。應(yīng)用于天河盒每個(gè)面的顏色通常具有相同的顏色值。

　　在圖5所示的示例中，背景信息510指示“山脈背景”已應(yīng)用于混合現(xiàn)實(shí)環(huán)境。將反照率顏色525應(yīng)用于天空的表面以使背景顯示為正確的顏色。

　　微軟指出，所述方法的一個(gè)技術(shù)優(yōu)勢(shì)是，通過(guò)將顏色應(yīng)用于灰度背景圖像，并通過(guò)將反照率顏色設(shè)置為應(yīng)用于將提供灰度圖像的天空盒的每個(gè)面，可以為混合現(xiàn)實(shí)環(huán)境生成背景的多種顏色。

　　要渲染混合現(xiàn)實(shí)環(huán)境的客戶端設(shè)備可以創(chuàng)建和下載單個(gè)背景圖像，只需下載單個(gè)灰度圖像作為背景，并將背景顏色應(yīng)用于圖像。因此，瀏覽器用于呈現(xiàn)混合現(xiàn)實(shí)環(huán)境的計(jì)算、網(wǎng)絡(luò)和內(nèi)存資源量將顯著減少。另外，可以在客戶端設(shè)備動(dòng)態(tài)地改變背景顏色，在客戶端設(shè)備定制混合現(xiàn)實(shí)環(huán)境。

　　圖6是用于定制混合現(xiàn)實(shí)環(huán)境的示例過(guò)程600的流程圖。過(guò)程600可以由圖2所示的混合現(xiàn)實(shí)服務(wù)110的部署單元210實(shí)現(xiàn)。

　　處理600可以包括接收識(shí)別要應(yīng)用于混合現(xiàn)實(shí)環(huán)境的背景的背景圖像的指示的操作610�？梢詮目蛻舳嗽O(shè)備接收輸入。背景圖像可以從與使用設(shè)計(jì)單元205創(chuàng)建的可定制混合現(xiàn)實(shí)環(huán)境相關(guān)聯(lián)的一組背景圖像中選擇。背景圖像可以通過(guò)圖4所示的用戶界面405來(lái)選擇。

　　如前例所述，混合現(xiàn)實(shí)服務(wù)110的提供商可以提供可定制的混合現(xiàn)實(shí)環(huán)境�？啥ㄖ频幕旌犀F(xiàn)實(shí)環(huán)境可以包括由混合現(xiàn)實(shí)環(huán)境的設(shè)計(jì)者選擇的一組背景，并且定制混合現(xiàn)實(shí)環(huán)境的用戶可以從組背景中選擇背景。部署單元210可以允許用戶選擇未包括在可定制混合現(xiàn)實(shí)環(huán)境中的預(yù)選圖像集中的自定義背景圖像。部署單元210可以配置為將所選圖像轉(zhuǎn)換為灰度圖像，并分割圖像。

　　處理600可以包括接收識(shí)別要應(yīng)用于背景圖像的背景色的指示的操作620。用戶可以從預(yù)定顏色列表中選擇。在其他實(shí)現(xiàn)中，用戶界面405可以包括顏色選擇器工具，所述工具允許用戶高亮顯示顏色選擇器工具內(nèi)的顏色以設(shè)置背景色。

　　背景色可以存儲(chǔ)在圖5所示的環(huán)境屬性信息505中。所選顏色可以表示為在RGB顏色模型中表示所選顏色的十六進(jìn)制值，或可以表示為將所選顏色表示為紅色、藍(lán)色和綠色分量的十六進(jìn)制三元組。在其他實(shí)現(xiàn)中，可以使用其他顏色模型來(lái)表示所選顏色。

　　過(guò)程600可以包括存儲(chǔ)包括使用用戶界面405配置的混合現(xiàn)實(shí)環(huán)境的屬性的環(huán)境屬性信息505的操作630。環(huán)境屬性信息505可以包括要應(yīng)用于天空盒或其他背景對(duì)象的反照率參數(shù)。反照率參數(shù)可以設(shè)置為通過(guò)用戶界面405接收的背景色。環(huán)境屬性信息505可以包括使用用戶界面405定制的混合現(xiàn)實(shí)環(huán)境的附加屬性。

　　程600可以包括接收發(fā)布混合現(xiàn)實(shí)環(huán)境的指示的操作640，以允許通過(guò)互聯(lián)網(wǎng)或一個(gè)或多個(gè)私有網(wǎng)絡(luò)訪問(wèn)混合現(xiàn)實(shí)環(huán)境。如在前面的示例所討論，用戶界面405的發(fā)布環(huán)境控件410提供用于發(fā)布混合現(xiàn)實(shí)環(huán)境的手段，以使環(huán)境可供其他用戶使用以與混合現(xiàn)實(shí)環(huán)境交互。

　　過(guò)程600可以包括發(fā)布混合現(xiàn)實(shí)環(huán)境的操作650，以允許響應(yīng)于接收到指示而通過(guò)互聯(lián)網(wǎng)或一個(gè)或多個(gè)私有網(wǎng)絡(luò)訪問(wèn)混合現(xiàn)實(shí)環(huán)境�；旌犀F(xiàn)實(shí)服務(wù)110可以更新環(huán)境屬性信息505，以指示用戶可以訪問(wèn)定制的混合現(xiàn)實(shí)環(huán)境。

　　一旦發(fā)布了混合現(xiàn)實(shí)環(huán)境，用戶可以使用通用資源標(biāo)識(shí)符(URL)或與混合現(xiàn)實(shí)環(huán)境相關(guān)聯(lián)的其他類型的鏈接或網(wǎng)絡(luò)參考從其客戶端設(shè)備訪問(wèn)混合現(xiàn)實(shí)環(huán)境。

　　圖7是用于在客戶端設(shè)備上呈現(xiàn)混合現(xiàn)實(shí)環(huán)境的示例過(guò)程700的流程圖。過(guò)程700可以通過(guò)客戶端設(shè)備的瀏覽器來(lái)實(shí)現(xiàn)。

　　過(guò)程700可以包括向混合現(xiàn)實(shí)服務(wù)110發(fā)送關(guān)于混合現(xiàn)實(shí)環(huán)境的環(huán)境屬性信息505的請(qǐng)求的操作710。環(huán)境屬性信息505包括用于在客戶端設(shè)備上顯示混合現(xiàn)實(shí)服務(wù)的混合現(xiàn)實(shí)環(huán)境的屬性。

　　如上所述，環(huán)境屬性信息505可以包括識(shí)別包括在混合現(xiàn)實(shí)環(huán)境中的對(duì)象的信息。環(huán)境屬性信息同時(shí)可以識(shí)別要用作要應(yīng)用于混合現(xiàn)實(shí)環(huán)境的背景的背景圖像的灰度圖像和要應(yīng)用于背景的顏色。

　　過(guò)程700可以包括從混合現(xiàn)實(shí)服務(wù)接收環(huán)境屬性信息505的操作720�；旌犀F(xiàn)實(shí)服務(wù)110可以經(jīng)由網(wǎng)絡(luò)120將與混合現(xiàn)實(shí)環(huán)境相關(guān)聯(lián)的環(huán)境屬性信息505發(fā)送到客戶端設(shè)備。

　　過(guò)程700可以包括從混合現(xiàn)實(shí)服務(wù)獲取在環(huán)境屬性信息中識(shí)別的灰度背景圖像的操作730�？蛻舳嗽O(shè)備可以從混合現(xiàn)實(shí)服務(wù)110請(qǐng)求混合現(xiàn)實(shí)環(huán)境的元素。

　　所述元素可以在環(huán)境屬性信息505中識(shí)別，并且可以包括要應(yīng)用于混合現(xiàn)實(shí)環(huán)境的背景的灰度背景。如前例所述，背景圖像可以分割成多個(gè)段，其中每個(gè)段對(duì)應(yīng)于天空盒或?qū)��?yīng)用背景圖像的其他對(duì)象的面。

　　過(guò)程700可以包括將灰度背景圖像作為紋理應(yīng)用于混合現(xiàn)實(shí)環(huán)境中的背景對(duì)象的操作740。背景圖像或圖像段可應(yīng)用于天空盒或?qū)��?yīng)用背景圖像的其他對(duì)象，如前述示例中所述。

　　客戶端設(shè)備的瀏覽器可以實(shí)現(xiàn)3D渲染引擎來(lái)渲染混合現(xiàn)實(shí)環(huán)境。在一個(gè)實(shí)現(xiàn)中，瀏覽器可以使用Babylon。js實(shí)時(shí)3D引擎，由JavaScript庫(kù)實(shí)現(xiàn)，并用于使用HTML5在web瀏覽器中顯示3D圖形。3D渲染引擎可以渲染天空盒或?qū)��?yīng)用背景圖像的其他對(duì)象，然后紋理和/或顏色可以應(yīng)用于天空盒或其他對(duì)象。

　　過(guò)程700可以包括基于環(huán)境屬性信息確定要應(yīng)用于背景對(duì)象的背景色的操作750。背景色可以包括在環(huán)境屬性信息505中，至少如圖5所示。

　　過(guò)程700可包括將背景色應(yīng)用于背景對(duì)象以創(chuàng)建混合現(xiàn)實(shí)環(huán)境的彩色背景的操作760。如在前面的示例中所討論的，可以在環(huán)境屬性信息505中定義要應(yīng)用于背景的背景色。背景色可以應(yīng)用于天空盒或應(yīng)用灰度圖像的其他背景對(duì)象。

　　背景色可以設(shè)置為用于設(shè)置圖像顏色的反照率參數(shù)�？蛻舳嗽O(shè)備的Web瀏覽器的3D渲染引擎將背景色作為反照率顏色應(yīng)用于天空盒或其他對(duì)象，灰度圖像在其上作為紋理應(yīng)用�？梢酝ㄟ^(guò)更改天空盒或其他背景對(duì)象的反照率參數(shù)值來(lái)動(dòng)態(tài)更新背景顏色。

　　混合現(xiàn)實(shí)環(huán)境可以提供用戶界面元素，所述用戶界面元素允許用戶動(dòng)態(tài)地改變通過(guò)客戶端設(shè)備的瀏覽器與之交互的混合現(xiàn)實(shí)環(huán)境的背景值和/或其他屬性。

　　過(guò)程700可以包括在數(shù)據(jù)處理系統(tǒng)的顯示器上顯示混合現(xiàn)實(shí)環(huán)境的操作770。混合現(xiàn)實(shí)環(huán)境可以顯示在客戶端設(shè)備的瀏覽器中，客戶端設(shè)備的用戶可以通過(guò)與客戶端設(shè)備相關(guān)聯(lián)的輸入設(shè)備與混合現(xiàn)實(shí)環(huán)境交互。

　　相關(guān)專利：Microsoft Patent | Efficient color theming of background images in web-based mixed reality environments

　　名為“Efficient color theming of background images in web-based mixed reality environments”的微軟專利申請(qǐng)最初在2021年1月提交，并在日期那由美國(guó)專利商標(biāo)局公布。