無需攝像頭 也能實現(xiàn)VR全身追蹤？

　　在上篇關(guān)于VR全身追蹤的文章中，我們簡要分析了VR全身追蹤對于VR社交的重要性，其中重點在于協(xié)調(diào)的下肢運動效果。

　　此前我們能想到的就是物理追蹤方案，從光學(xué)marker，到深度相機，再到基于RGB相機的骨骼動作識別方案等等。

　　實際上，實現(xiàn)腿部、腳部等下肢動作追蹤也越來越輕松，只不過難點是對于VR一體機來說，不能通過輕量化、簡易的方式實現(xiàn)�？紤]到現(xiàn)在越來越多的Inside-Out方案的VR一體機，當前并不能以簡易的方式追蹤腿部、腳部的動作，也不能準確模擬Avatar下半身的動作。追蹤結(jié)果就是大家普遍吐槽，虛擬社交中只有上半身，這也是當前VR發(fā)展的現(xiàn)狀。

　　那么我就在想，在VR中無需借助攝像頭或額外設(shè)備，就能實現(xiàn)全身追蹤又該怎么實現(xiàn)呢?

　　答案是有的：基于大量人體運動追蹤數(shù)據(jù)，結(jié)合機器學(xué)習(xí)模型，實現(xiàn)基于頭顯+雙手柄的動作來模擬下肢動作，實現(xiàn)全身動作估計的一種方式。

　　近期一個名為Standable的最新VR全身動作追蹤和演示視頻公布，就是采用類似的方案。從視頻中我們看到了無攝像頭和外部設(shè)備的條件下，VR也能實現(xiàn)還不錯的全身動作估計效果。

　　據(jù)青亭網(wǎng)了解，該項目的開發(fā)者John Coumerilh是一個年輕小伙，學(xué)習(xí)編程前就花了大量時間在《我的世界》中創(chuàng)作、修改各種虛擬場景。最近三年自學(xué)Unreal開發(fā)并投身到XR領(lǐng)域，2020年5月-2022年1月期間，在開發(fā)名為《PHIN》的VR沙盒模擬應(yīng)用，特點是基于真實的物理模擬效果，目前在SideQuest上可以下載。

　　而從今年2月份開始，John Coumerilh開始研究了這套名為《Standable: Full Body Estimation》(簡稱：Standable FBE)的VR全身追蹤方案。

　　Standable FBE的特點是為大多數(shù)XR頭顯，提供了原本不支持的下肢追蹤，包括：骨盆、膝蓋、腿部或關(guān)節(jié)處等。

　　而Standable FBE的開發(fā)就是源自于Steam VR追蹤方案，開發(fā)者John也表示目標就是幫助VR開發(fā)者提供一套簡化的、易于使用的全身追蹤FBIK方案，而無需再花幾個月甚至更長時間去優(yōu)化FBIK。

　　特點1：無需額外硬件

　　不像是其它需要光學(xué)Marker、或相機追蹤方案，這套方案完全基于軟件來實現(xiàn)。

　　那么它是怎么實現(xiàn)的呢?根據(jù)開發(fā)者John的描述，這套方案基于SteamVR追蹤實現(xiàn)大量人體工作追蹤數(shù)據(jù)進行訓(xùn)練，并以生成一套簡易化的軟件全身追蹤方案。

　　特點2：非常輕量的校準流程

　　在使用時也盡量簡化了步驟，只需要非常少量的校準流程，目前僅需確認眼部位置即可。

　　特點3：實現(xiàn)復(fù)雜的動作模擬

　　支持從任何方向蹲下、躺下、甚至趴下等動作，也支持走路、慢跑等動作。

　　特點4：易于使用

　　因為目前還是研發(fā)階段，針對開發(fā)者的工具包目前還在開發(fā)之中。John透露：目前正在抓緊精力開發(fā)Unreal、Unity工具包，甚至也在研究支持《VRChat》。

　　特點5：價格低廉

　　完全個人開發(fā)，個人所得稅低，因此相對價格低廉。

　　那么，Standable FBE當前還有哪些缺點呢?

　　1，左右移動

　　通常無額外硬件的左右移動會伴隨隨機抬腿的動作，但是算法不知道你會在什么時間、在什么位置抬腿，應(yīng)對這種偶發(fā)情況還不夠友好。

　　2，胯部位置不準確

　　因為側(cè)身或彎曲身體等情況時，全身住蹤因為不能準確模擬胯部位置和方向，因此很容易讓Avatar動作變得僵硬。不過，未來的版本將會大量結(jié)合腿部動作追蹤。

　　3，全身動作協(xié)調(diào)性

　　目前的Standable FBE僅采用6點追蹤方案，而未來John計劃升級至12節(jié)點，加入了肩部、胸部、肘部、膝蓋等節(jié)點，會讓動作更靈活，實現(xiàn)更復(fù)雜的動作。

　　很高興看到能有個人開發(fā)者在著手解決，無硬件方案的全身追蹤算法。實際上，目前包括Meta等VR頭部企業(yè)，也在著手解決這一問題，比如前段時間就透露將推出基于軟件的下肢追蹤方案，那么屆時相信也會讓虛擬社交的體驗進一步升級。

　　參考：Standable FBE