只需一個2D攝像頭 RADiCAL利用AI實現(xiàn)低成本動捕

　　2018年05月09日，如果動畫角色要感動我們，它們需要首先動起來。然而，賦予虛擬角色生命從來不是一件易事。動捕技術(shù)能夠記錄和數(shù)字化復(fù)制人體運動以創(chuàng)建3D動畫。我們不妨聯(lián)想一下安迪·瑟金斯在《指環(huán)王》系列中所扮演的咕嚕。

　　傳統(tǒng)動捕技術(shù)的問題是，其需要依靠大量昂貴和笨重的硬件。這同時需要經(jīng)驗豐富的專業(yè)人員操作多攝像機設(shè)置，演播室環(huán)境，以及演員身穿特制的傳感器套裝。

　　“所有這些費用，技能和時間都令人對動捕技術(shù)望而卻步。”RADiCAL的聯(lián)合創(chuàng)始人兼CEO Gavan Gravesen如是說道。初創(chuàng)公司RADiCAL是一家位于紐約的NVIDIA Inception項目成員。Gravesen表示：“我們致力于提供全民易用性，無縫集成和快速完成，而所有這一切都是以低成本實現(xiàn)。”

　　他們基于AI的解決方案只需要游戲開發(fā)商，3D圖形藝術(shù)家，電影制作人員和AR/VR愛好者提供一件物理硬件：一臺2D相機，甚至是一臺手機。不需要其他硬件，工作室環(huán)境或精密的傳感器設(shè)備，這大大降低了所涉及的成本和工作量。

　　1. 更簡單的動捕

　　世界任何用戶都可以通過智能手機或網(wǎng)絡(luò)直接將視頻上傳到RADiCAL的云端中。該公司則利用人工智能和運動科學處理視頻，檢測其中的內(nèi)容，在3D空間中重現(xiàn)人類運動，甚至是重建相機所無法看到的內(nèi)容。

　　RADiCAL的算法可以自動適應(yīng)不同的人體比例和人體運動，然后創(chuàng)建一個可以在3D映射視頻主體運動的模型。盡管模型的流暢運動使得該過程看起來十分簡單，但底層卻非常復(fù)雜。

　　RADiCAL的聯(lián)合創(chuàng)始人兼CTO Anna-Chiara Bellini指出：”我們集成了深度學習，機器人技術(shù)，計算機視覺和生物力學，這需要強大的人工智能開發(fā)環(huán)境。”

　　2. 利用TensorFlow處理

　　Bellini表示，RADiCAL面臨的第一個挑戰(zhàn)就是需要處理的大量數(shù)據(jù)。對于他們的算法，單張靜止圖像可能需要分析多達6GB的數(shù)據(jù)。但對于每一秒的動作，期間包含120幀內(nèi)容，從而帶來了驚人的720GB數(shù)據(jù)。

　　Bellini及其團隊選擇了TensorFlow，將GPU編程集成到他們的研究過程中，從而為整個管道提供一個“單一執(zhí)行模型”。她解釋說：“通過使用CUDA編寫的ad-hoc內(nèi)核來補充TensorFlow，一個只需數(shù)小時編寫的簡單內(nèi)核可以為我們節(jié)約數(shù)天的模擬時間。”

　　為了支持其運動模型，RADiCAL在多GPU系統(tǒng)上以交錯方式處理多個幀。Bellini指出：“支持多個Tesla V100 GPU的最新一代NVIDIA NVLink等技術(shù)使這一切成為了可能。”

　　Bellini和她的團隊使用了基于云端的多GPU設(shè)備，她們將從構(gòu)思到部署再到生產(chǎn)的開發(fā)周期時間減少了10倍。

　　她說道：“英偉達的顯卡提高了我們的工作速度，允許我們探索更多的選項，以及更有效地利用我們機器學習工程師的時間。這是一個驚人的發(fā)現(xiàn)。”

　　3. 動畫文件的應(yīng)用

　　在處理完視頻后，RADiCAL將通過網(wǎng)站及其MOTiON應(yīng)用程序提供與實際視頻片段并排呈現(xiàn)的實時3D預(yù)覽。用戶還可以下載適用于3D動畫，增強現(xiàn)實，虛擬現(xiàn)實，游戲引擎和其他3D圖形程序，以及內(nèi)容頻道格式的動畫文件。

　　RADiCAL現(xiàn)在已經(jīng)向創(chuàng)意產(chǎn)業(yè)的早期采用者提供了一個公開測試計劃(點擊前往)，而他們目標是在數(shù)周內(nèi)完成全面的商業(yè)發(fā)行。