高通分享：厘清AR開發(fā)基礎(chǔ)，用驍龍Spaces XR平臺構(gòu)建先進(jìn)AR體驗(yàn)

　　據(jù)百科，AR增強(qiáng)現(xiàn)實(shí)是一種將虛擬信息與真實(shí)世界融合的技術(shù)。通過廣泛采用多媒體、三維建模、實(shí)時(shí)跟蹤及注冊、智能交互、傳感等多種技術(shù)手段，它能夠?qū)⒂?jì)算機(jī)生成的文字、圖像、三維模型、音樂、視頻等虛擬信息應(yīng)用到真實(shí)世界中。虛擬和真實(shí)兩種信息互為補(bǔ)充，從而實(shí)現(xiàn)虛擬數(shù)字對真實(shí)世界的“增強(qiáng)”。

　　日前，高通XR業(yè)務(wù)的戰(zhàn)略和合作伙伴負(fù)責(zé)人布萊恩·福格爾桑(Brian Vogelsang)撰文介紹了關(guān)于AR增強(qiáng)現(xiàn)實(shí)的基礎(chǔ)。下面是映維網(wǎng)的具體整理：

　　1. Anchor錨定和Scene場景

　　大多數(shù)AR應(yīng)用的一個(gè)常見功能是允許用戶移動和放置虛擬對象。這涉及到錨定，元數(shù)據(jù)存儲虛擬對象的真實(shí)世界位置與方向，以及跨會話持久化。例如，即便從不同的位置或方向查看，在一個(gè)會話中放置的虛擬對應(yīng)在后續(xù)會話中依然可見。

　　類似地，“Trackable可追蹤”是指可以附著錨定的點(diǎn)或面。例如，與動態(tài)環(huán)境中的移動曲面相關(guān)聯(lián)的“可追蹤”會令所有定位對象相應(yīng)地重定位/重定向。

　　場景理解(又名Enviroment環(huán)境)是AR的另一個(gè)基本模塊。它涉及分析用戶的物理環(huán)境，創(chuàng)建一個(gè)將虛擬世界映射到物理世界的數(shù)字孿生。它可以將對象定位在空間中，并允許用戶可以在對象周圍移動。它同時(shí)定義了設(shè)備(智能手機(jī)或頭顯)相對于環(huán)境的位置或方向。應(yīng)用程序可以分析一次周圍環(huán)境(例如在啟動過程中定義有限區(qū)域時(shí))，或者在用戶導(dǎo)航時(shí)隨時(shí)間推移不斷建立和保存場景信息。

　　行業(yè)有兩種主要的場景理解方法：Marker-based：這種基于標(biāo)記的方法識別攝像頭可以捕獲的視覺特征或標(biāo)記。圖像處理算法和計(jì)算機(jī)視覺技術(shù)通常用于檢測對象的角點(diǎn)或邊緣等特征。 Markerless-based：無標(biāo)記方法則利用諸如羅盤、加速計(jì)、陀螺儀或GPS等IMU，而所述傳感器數(shù)據(jù)一般會通過higl-level API提供給應(yīng)用開發(fā)者。

　　開發(fā)人員通常會混合使用這兩種方法。它們一起可以提供更豐富的信息，或者提供缺失的信息。例如，當(dāng)GPS不可用時(shí)，傳感器和視覺數(shù)據(jù)可以從上次已知的GPS位置近似計(jì)算設(shè)備的位置。

　　與場景理解相關(guān)的是深度理解(又稱深度估計(jì))。這可以導(dǎo)出到場景中要素或?qū)ο蟮木嚯x。有了所述信息，虛擬對象可以與環(huán)境交互，例如防止出現(xiàn)穿墻現(xiàn)象。它同時(shí)為遮擋計(jì)算提供了幫助，亦即物理對象可以遮擋虛擬對象。

　　2. 關(guān)鍵AR開發(fā)技能

　　AR涉及渲染知識、美術(shù)asset創(chuàng)建和UI/UX設(shè)計(jì)。

　　2.1 渲染知識

　　在渲染方面，AR需要的知識包括： 熟悉3D空間，包括諸如向量和矩陣之類的3D數(shù)學(xué)。 圖形管道，用于將美術(shù)軟件包中的asset轉(zhuǎn)換為針對給定平臺優(yōu)化的格式。開發(fā)所述工具通常需要對目標(biāo)平臺的第一手知識，而這一般可以通過平臺文檔獲取。 實(shí)現(xiàn)特殊效果的著色器。 場景管理，僅加載/渲染當(dāng)前視口所需的內(nèi)容(即用戶的2D屏幕或沉浸式頭戴設(shè)備提供的視場)。

　　你應(yīng)該掌握實(shí)時(shí)的、基于幀的軟件架構(gòu)。例如，典型的游戲循環(huán)獲取用戶輸入，根據(jù)輸入更新游戲邏輯，然后相應(yīng)地進(jìn)行渲染。AR循環(huán)添加傳感器輸入集合，并在更新和渲染階段考慮物理世界。

　　實(shí)時(shí)架構(gòu)需要實(shí)時(shí)調(diào)試技術(shù)。遠(yuǎn)程調(diào)試允許AR視口在設(shè)備保持可見，將開發(fā)機(jī)器保留為代碼、斷點(diǎn)等。臨時(shí)debug overlay同時(shí)可用于顯示當(dāng)前幀中從幀速率到對象名稱的所有內(nèi)容。

　　2.2 美術(shù)asset注意事項(xiàng)

　　美術(shù)asset提供AR中的視覺效果，所以請?jiān)趫F(tuán)隊(duì)中納入經(jīng)驗(yàn)豐富的2D和3D圖形美術(shù)。他們可以包括角色建模師和動畫師、對象建模師、UI設(shè)計(jì)師和紋理美術(shù)。

　　2D美術(shù)asset可以包括標(biāo)牌、信息板、虛擬UI的圖像和紋理，以及在屏幕保持固定的平視顯示器(HUD)。紋理同時(shí)用于粒子系統(tǒng)等效果，例如煙霧。

　　3D美術(shù)asset包括對象、角色和增強(qiáng)環(huán)境的環(huán)境模型。可以創(chuàng)建模型rig，以按程序設(shè)置動畫，或者使用動畫數(shù)據(jù)流。

　　以下是創(chuàng)建美術(shù)asset的一般注意事項(xiàng)： 確定虛擬對象在AR中的效果。因?yàn)樗�述對象是在物理世界中渲染，所以它們的大小�?yīng)該契合周圍的環(huán)境。 使用LOD來平衡性能和真實(shí)感。如果需要額外的渲染負(fù)載來顯示特寫對象的詳細(xì)信息，請使用復(fù)雜模型和詳細(xì)紋理。當(dāng)用戶離開時(shí)，切換到不太詳細(xì)的模型以減少渲染負(fù)載。

　　-考慮添加基于物理的渲染(PBR)。PBR模擬光如何從不同材質(zhì)反射。這可以提高真實(shí)感，并幫助虛擬對象與物理世界融合。

　　2.3 UI和UX考量

　　當(dāng)今2D移動應(yīng)用中使用的諸多手勢通常可以很好地轉(zhuǎn)換至AR交互，例如輕觸選擇對象，滑動移動對象，抓捏調(diào)整對象大小等。所以，移動應(yīng)用開發(fā)者對于這一點(diǎn)應(yīng)該會感到非常熟悉。除了在觸控屏實(shí)現(xiàn)所述手勢之外，開發(fā)人員同時(shí)可以通過手部追蹤進(jìn)行實(shí)現(xiàn)，通過頭戴式設(shè)備中的攝像頭或傳感器來捕捉手部和手指的運(yùn)動。

　　永遠(yuǎn)記住，安全第一。AR體驗(yàn)比傳統(tǒng)的移動應(yīng)用更具沉浸感，所以不能讓用戶在交互過程中失去對周圍環(huán)境的追蹤，甚至體驗(yàn)到暈動癥。為了防止這種情況的發(fā)生，請?zhí)嵝延脩糇⒁庵車�環(huán)境，避免倒著走的情況。另外，限制AR會話時(shí)間，以便用戶可以輕松回歸現(xiàn)實(shí)世界。

　　3. 硬件

　　如今的智能手機(jī)、平板電腦和頭戴式設(shè)備都配備了高分辨率攝像頭和智能傳感器，甚至包括5G mmWave等低延遲云連技術(shù)，從而允許開發(fā)者決定在何處最好地執(zhí)行繁重的處理。

　　所述技術(shù)是驍龍移動平臺的核心，并且正在賦能當(dāng)今一系列的移動設(shè)備和AR體驗(yàn)。智能手機(jī)AR是一個(gè)簡單的選擇，可以幫助你馬上開始AR開發(fā)之旅，比如說Motorola edge+�；蛘吣憧梢試L試聯(lián)想ThinkReality A3這樣的頭戴式顯示器，以實(shí)現(xiàn)更具沉浸感的AR開發(fā)。

　　4. 你將積累什么樣的經(jīng)驗(yàn)?

　　AR應(yīng)用程序可以跨越眾多垂直領(lǐng)域，包括游戲、醫(yī)療和制造業(yè)等等。盡管AR頭顯很快將提供更具沉浸感的體驗(yàn)，但我們認(rèn)為，目前理想的消費(fèi)類移動AR應(yīng)用是用于增強(qiáng)日常生活體驗(yàn)的應(yīng)用。

　　對于這方面，你或許已經(jīng)相當(dāng)熟悉，例如在視場顯示直觀箭頭指示的尋路導(dǎo)航;又如可以允許專家為你提供指引幫助的遠(yuǎn)程支持等等。

　　我們?nèi)�新的驍龍Spaces平臺提供了構(gòu)建沉浸式AR體驗(yàn)所需的工具。驍龍Spaces HDK包括Motorola edge+智能手機(jī)和聯(lián)想ThinkReality A3智能眼鏡。你可以參閱我們的快速入門指南，然后下載驍龍Spaces SDK。然后，你可以開始在Unity或Unreal中使用SDK，并實(shí)現(xiàn)你的奇思妙想。

　　你同時(shí)可以利用其他多種工具和框架來構(gòu)建AR體驗(yàn)，包括： 谷歌的ARCore是用于為Android設(shè)備開發(fā)AR應(yīng)用的API。 Unity的XR Interaction Toolkit和MARS是用于可視化AR開發(fā)的工具。 OpenXR是一種開放的AR API標(biāo)準(zhǔn)，針對不同的設(shè)備有多種實(shí)現(xiàn)。驍龍Spaces提供符合OpenXR的運(yùn)行時(shí)和各種OpenXR擴(kuò)展 對于功能強(qiáng)大的手持式AR應(yīng)用，你可以考慮Wikitude SDK。 我們的QualcommComputer Vision SDK可用于AR中的手勢檢測和計(jì)算機(jī)視覺功能。

　　隨著移動AR的快速增長，進(jìn)入AR開發(fā)領(lǐng)域的最佳時(shí)機(jī)前所未有。通過學(xué)習(xí)和掌握相關(guān)的技能，你將能隨著行業(yè)的發(fā)展而開發(fā)出更復(fù)雜，更引人入勝的AR體驗(yàn)。