微軟為HoloLens全息視頻提出二次投影技術(shù)，改善流式傳輸帶寬和質(zhì)量

　　如果有關(guān)注與VR相關(guān)的技術(shù)文章，你可能曾多次見過“二次投影(reprojection)”這個(gè)術(shù)語，如交錯(cuò)二次投影或異步二次投影。二次投影是為了解決VR游戲的苛刻性能要求，旨在填補(bǔ)無法及時(shí)渲染的幀。比方說一款游戲不能達(dá)到標(biāo)準(zhǔn)的90fps，這時(shí)交錯(cuò)二次投影將“強(qiáng)迫”其降至45fps，并在這基礎(chǔ)下每隔一幀進(jìn)行一次重新投影，從而實(shí)現(xiàn)90fps的幀率。作為交錯(cuò)二次投影的升級(jí)版，異步二次投影則是智能地插入一幀，從而有效減少畫面抖動(dòng)并使得體驗(yàn)更為流暢自然。

　　現(xiàn)根據(jù)微軟的一份最新專利，這家科技巨頭似乎有意為全息視頻采用類似的二次投影技術(shù)，以改善流式傳輸?shù)膸��?質(zhì)量。

　　發(fā)明文件顯示，諸如HoloLens這樣的MR頭顯在視頻壓縮和傳輸實(shí)況視頻方面存在一定的挑戰(zhàn)，如帶寬。另外，一系列現(xiàn)有的視頻壓縮技術(shù)都依賴于這樣一個(gè)概念：連續(xù)視頻幀的大部分背景從一個(gè)視頻幀到下一個(gè)視頻幀時(shí)保持相對(duì)靜態(tài)，因此只有實(shí)際變化的像素需要傳輸。但對(duì)于頭戴式顯示器，頭部移動(dòng)可導(dǎo)致圖像數(shù)據(jù)(包括背景)中更頻繁和更大幅度的變化，這降低了已知視頻壓縮技術(shù)的有效性。

　　因此，MR頭顯需要一種可以減少帶寬要求和/或提升分辨率的技術(shù)，亦即微軟在名為“Reprojecting Holographic Video To Enhance Streaming Bandwidth/Quality(二次投影全息視頻以改善流式傳輸帶寬/質(zhì)量)”的發(fā)明文件中所描述的技術(shù)。

　　具體來說，微軟描述的技術(shù)適用于具有攝像頭和深度傳感器的全息設(shè)備。在將數(shù)據(jù)傳遞到計(jì)算P幀(或B幀)的視頻壓縮器之前，流式傳輸應(yīng)用程序執(zhí)行應(yīng)用于先前幀的圖像扭曲3D變換。系統(tǒng)將利用camera的已知3D位置和camera前面的3D幾何形狀，并基于camera的當(dāng)前位置重新投影前一幀，而不是花費(fèi)時(shí)間和資源來完全重新渲染一幀，從而減少發(fā)送流式視頻的數(shù)據(jù)帶寬。

　　相關(guān)專利：Reprojecting Holographic Video To Enhance Streaming Bandwidth/Quality

　　盡管這只是一份專利，但考慮到“Reprojecting Holographic Video To Enhance Streaming Bandwidth/Quality(二次投影全息視頻以改善流式傳輸帶寬/質(zhì)量)”是于2017年1月提交，所以如果馬上就要在MWC大會(huì)亮相的HoloLens 2搭載了這項(xiàng)技術(shù)，我們將不會(huì)感到驚訝。