從Spilly談社交AR應用的技術實現(xiàn)原理

　　2018年01月18日，2014年，一家名為Looksery的烏克蘭初創(chuàng)公司利用這項技術為消費者創(chuàng)建了一個數(shù)字化妝自拍應用程序，而該應用程序的下載量超過了一百萬次。Snapchat發(fā)現(xiàn)了潛在的巨大市場，并且斥資收購了Looksery。6個月后，這為Snapchat帶來了現(xiàn)在十分知名的“Lens”產品。在另一邊廂，F(xiàn)acebook感覺到競爭對手的危險，他們在這之后的第二年收購了MSQRD應用程序背后的團隊。“自拍AR”這種以人為核心的計算機視覺突然在世界范圍內引起了轟動，成為了兩大社交媒體巨頭之間斗爭的關鍵武器。

　　在2017年，蘋果和Snapchat都第一次推出了基于SLAM技術的ARKit和World Lenses(允許設備在平面上置放數(shù)字對象)，而Facebook則為市場帶來了AR Studio(允許開發(fā)者創(chuàng)建自己的AR濾鏡)。然而，有消息稱相關的努力尚未成為用戶之間極速躥紅。

　　那么接下來是什么呢?對我們來說，這是新型社交AR的興起。社交AR不僅能夠作為自拍AR階段和眼鏡AR之間的橋梁，而其潛在相關的技術有可能成為未來的關鍵組成部分。要做到這一點，我們需要開發(fā)一個神經網絡，在所有配置中(不僅只是自拍)實時檢測和追蹤人像。然而，這向我們提出了一系列的挑戰(zhàn)。

　　對于利用前置攝像頭實現(xiàn)的自拍AR追蹤，其基本上是識別和追蹤人像時的一個特殊情況。從前置攝像頭轉移到后置攝像頭，我們將有可能遇上其他情況，如：

　　對象更有可能偏離相對于攝像頭的中心位置。

　　他們可以出現(xiàn)在不同的距離，或以不同的大小呈現(xiàn)。

　　他們往往不是面向攝像頭，所以我們不能只是尋找人臉，而是要尋找頭部，頭發(fā)，帽子和各種相關特征。

　　視圖中經常出現(xiàn)多個人像。

　　為了實現(xiàn)我們的技術，以上是我們需要克服的事項。那么，技術的工作原理到底是什么呢?下面我們將其分解成4個部分：

　　1. 多個頭部與身體的檢測

　　我們的技術能夠實時檢測多個頭部與身體。在提供用戶的攝像頭圖像后，應用程序可以識別圖像中顯示頭部及其相應身體的區(qū)域。

　　這能夠做什么呢?這允許我們根據頭部大小來估計人像的距離。對于身體，我們可以錨定人像運動的任何視覺信息。

　　2. 場景/視圖中的持續(xù)性個人追蹤

　　為了追蹤場景中人像的動作與特征，我們根據多個幀來比較多個頭部和身體的信息。這樣，即使他們是被其他人包圍，即使他們離開攝像頭視圖后又重新進入，我們也能夠將視覺信息固定在特定的人像身上。

　　3. 單獨背景與全身細分

　　對于每個目標追蹤人像，我們會進一步分類屬于面部，皮膚，頭發(fā)，衣服和背景的像素。就這樣，我們能夠清晰地分離開一系列不同的圖層，然后我們可以將其用于AR效果的高級混合。如果不是這樣，設備只能通過光場或深度感知技術實現(xiàn)，而這對當前的智能手機而言并不實際。

　　4.編輯器

　　我們專門培訓了我們的神經網絡，令其產生任何設計師都可以輕松進行交互和操作的圖層。由于網絡基于簡單的數(shù)學計算，因此我們很容易在桌面和移動設備上以相同的質量實現(xiàn)。這使得設計人員能夠使用我們的自定義編輯器來快速迭代和設計面向Spilly應用程序的視覺效果。

　　以上是具體的工作原理，下面讓我們看看技術的部分用例：

　　我們開發(fā)的三款社交AR應用程序：鼓勵人們聚在一起，扮演自己喜歡的明星，來回作弄對方等等。

　　游戲體驗：人們現(xiàn)在可以成為游戲中的可定位和可操作的角色。

　　時尚應用：將衣服/濾鏡應用至用戶身上，不僅有趣，而且你可以進行虛擬“試穿”和購買。

　　把你自己放入第三方內容：借助我們的全圖細分技術，用戶可以將頭部置放于任意視頻中的人像身上，從而完成“頭部移植手術”。不知道你想不想成為最愛電影中的主角呢?

　　潛在的用例很有很多。在眼鏡AR時代，人們很可能成為一系列相互作用的情境觸發(fā)器，如室內生活情景(如特定于某人的提醒，比方說提醒丈夫做早餐)，個人細節(jié)，或者說更豐富的游戲體驗。接下來，我們可能會看到涉及商業(yè)交易的戶外交互(如“分類廣告網站”項目的個人付款)，以及視覺增強，你可以期待Tumblr和Pinterest(皆為圖片分享應用)背后的相同動機擴展到你個人身上。

　　簡而言之，人管理著這個由技術驅動的世界，而這種以人為中心的視覺技術進步只會進一步將人與技術聯(lián)系在一起。我們正在走向這么一個未來：以智能手機為基礎的商業(yè)，娛樂和自我表達將從屏幕束縛中解放出來，數(shù)字世界將直接集成至我們面前的世界。我們需要謹慎行事，但這個潛在未來的價值已經清晰可見。