虛擬形象實(shí)時(shí)互動(dòng)融合 SDK 業(yè)內(nèi)首發(fā) 網(wǎng)易云信加碼元宇宙

　　元宇宙，火得猝不及防。

　　短短幾個(gè)月時(shí)間，Minecraft、Roblox 進(jìn)入了更多人的視野，GREE、英偉達(dá)、微軟等陸續(xù)發(fā)布相關(guān)產(chǎn)品解決方案，韓國(guó)、日本還從國(guó)家層面宣布大力布局元宇宙賽道。《頭號(hào)玩家》描繪的情景似乎明天就能成為現(xiàn)實(shí)。

　　彭博行業(yè)研究報(bào)告預(yù)計(jì)元宇宙將在 2024 年達(dá)到 8000 億美元市場(chǎng)規(guī)模，普華永道預(yù)計(jì)元宇宙市場(chǎng)規(guī)模在 2030 年將達(dá)到 1.5 萬(wàn)億美元。市場(chǎng)潛力無(wú)限。

　　究竟什么是元宇宙?簡(jiǎn)單來(lái)說(shuō)，元宇宙可以理解為平行于現(xiàn)實(shí)世界始終在線的虛擬世界。在這個(gè)世界中，除了吃飯、睡覺(jué)需要在現(xiàn)實(shí)中完成，其余包括工作、社交、娛樂(lè)等都可以在虛擬世界中實(shí)現(xiàn)。

　　神秘、未知，曾經(jīng)只可能出現(xiàn)在夢(mèng)中的幻境或許在不久的將來(lái)就能實(shí)現(xiàn)，想想就興奮不已。

　　然而一個(gè)不得不承認(rèn)的現(xiàn)實(shí)是：高擬真度的虛擬世界還沒(méi)有建成，人們?cè)谔摂M世界的形象還沒(méi)有立起來(lái)，終端還支撐不起那樣的數(shù)據(jù)計(jì)算量，交互體驗(yàn)還不夠好……一系列問(wèn)題等著被攻克，元宇宙的大門還沒(méi)有打開(kāi)。

　　元宇宙兩大核心技術(shù)：虛擬人和實(shí)時(shí)互動(dòng)

　　正如前文所述，互聯(lián)網(wǎng)的終極目標(biāo)——元宇宙，可以打破人類社會(huì)活動(dòng)的空間與時(shí)間的界限。在一個(gè)創(chuàng)造的虛擬空間里，來(lái)自世界各地的人們進(jìn)行著真實(shí)的社會(huì)活動(dòng)，社交、商業(yè)、娛樂(lè)...而其中“虛擬人”和“實(shí)時(shí)互動(dòng)”能力是必不可少的兩大核心技術(shù)。

　　虛擬人代表了個(gè)體可辨識(shí)度的形象和身份，實(shí)時(shí)互動(dòng)能力可以實(shí)現(xiàn)沉浸式真實(shí)的社交活動(dòng)，最終模糊虛擬和現(xiàn)實(shí)的邊界。

　　元宇宙中虛擬人是指具有數(shù)字化外形的虛擬人物，與具備實(shí)體的機(jī)器人不同，虛擬人依賴顯示設(shè)備存在。一般來(lái)說(shuō)，我們將虛擬人分為兩類：一類是真人可驅(qū)動(dòng)的虛擬人，另一類是具有人工智能的 AI 智能虛擬人。

　　元宇宙是另一個(gè)真實(shí)的人類社會(huì)活動(dòng)的無(wú)限廣闊空間，所以技術(shù)上實(shí)現(xiàn)真人可驅(qū)動(dòng)的虛擬人是邁入“新世界”的第一步，當(dāng)然如《失控玩家》里具有自我意識(shí)的 NPC 虛擬人物如果也能在元宇宙中實(shí)現(xiàn)，更是讓人無(wú)限遐想。

　　因此元宇宙的虛擬人應(yīng)具備以下三方面特征：

　　一是虛擬人外在形象，擁有人的外觀或者卡通等有趣生動(dòng)的外貌，具有特定的相貌、性別和性格等人物特征;

　　二是虛擬人表達(dá)能力，擁有人的行為，具有用語(yǔ)言、面部表情和肢體動(dòng)作表達(dá)的能力;

　　三是虛擬人感知互動(dòng)能力，擁有人的思想，具有識(shí)別外界環(huán)境、并能與人交流互動(dòng)的能力。

　　外在、表達(dá)、感知，這些我們幾乎每個(gè)現(xiàn)實(shí)人類都擁有的能力，對(duì)技術(shù)和設(shè)備的要求其實(shí)很高。

　　首先，愛(ài)美之心人皆有之，現(xiàn)實(shí)生活中的我離“盛世美顏”還有那么一小段距離，也許在新的世界里，我可以擁有“人生如果再來(lái)一次”的機(jī)會(huì)，傾國(guó)傾城走向人生巔峰。但是創(chuàng)建一個(gè)“美而好”虛擬形象，并不是一件容易的事情。AI和圖像的技術(shù)門檻很高，例如 3D 建模，高算力和渲染對(duì)設(shè)備性能要求等都是是一個(gè)業(yè)界難題。

　　其次，擁有了“沉魚(yú)落雁、閉月羞花、傾國(guó)傾城”的盛世美顏后，光是一個(gè)靜態(tài)形象，沒(méi)有表情、沒(méi)有肢體表達(dá)，元宇宙的世界瞬間變成“行尸走肉”的世界。這里涉及到語(yǔ)音交互（TTS、ASR、NLP等）、動(dòng)畫合成（驅(qū)動(dòng)、渲染）等AI相關(guān)技術(shù)，對(duì)技術(shù)要求的門檻可想而知。

　　最后，元宇宙映射的是真實(shí)人類世界，那么人類社會(huì)活動(dòng)的基本元素“互動(dòng)”是構(gòu)建元宇宙的最關(guān)鍵一環(huán)，為了還原真實(shí)線下的無(wú)違和感的互動(dòng)體驗(yàn)，需要低延時(shí)、高質(zhì)量的實(shí)時(shí)通信服務(wù)保障，但是當(dāng)前復(fù)雜多變的公網(wǎng)環(huán)境、終端設(shè)備等因素對(duì)通信傳輸是一大挑戰(zhàn)。

　　為了能夠在“新世界”里“自由翱翔”，虛擬形象要“美好”，表達(dá)要“清楚”，溝通互動(dòng)要“順暢”……需要解決很多問(wèn)題，但是目前互聯(lián)網(wǎng)廣大用戶還是以移動(dòng)端手機(jī)為主，機(jī)型種類等也復(fù)雜多樣。因此，不需要外戴設(shè)備，又能解決實(shí)現(xiàn)虛擬人互動(dòng)所需強(qiáng)大算力引起的性能問(wèn)題，同時(shí)在復(fù)雜網(wǎng)絡(luò)環(huán)境也能保障實(shí)時(shí)互動(dòng)效果的解決方案，是當(dāng)前最契合實(shí)際也是最好切入“元宇宙”的不二之選。

　　網(wǎng)易云信，來(lái)了!

　　業(yè)界首發(fā)虛擬形象實(shí)時(shí)互動(dòng)融合SDK，邁出進(jìn)入元宇宙的第一步

　　針對(duì)當(dāng)前面臨的諸多難題，網(wǎng)易云信聯(lián)合網(wǎng)易伏羲實(shí)驗(yàn)室推出業(yè)界首個(gè)「虛擬形象+RTC」融合 SDK，并且基于該融合 SDK 形成網(wǎng)易云信虛擬形象實(shí)時(shí)互動(dòng)解決方案。

　　(網(wǎng)易云信虛擬形象實(shí)時(shí)互動(dòng)解決方案)

　　該解決方案不僅可以生動(dòng)還原虛擬人形象，同時(shí)結(jié)合了網(wǎng)易云信 WE-CAN(Communications Acceleration Network)實(shí)時(shí)傳輸能力，可以實(shí)現(xiàn)虛擬人實(shí)時(shí)互動(dòng)，幫助企業(yè)客戶 0 門檻也可實(shí)現(xiàn)虛擬形象實(shí)時(shí)互動(dòng)場(chǎng)景，邁出元宇宙的第一步。

　　具體來(lái)說(shuō)，網(wǎng)易云信虛擬形象實(shí)時(shí)互動(dòng)解決方案具備六大優(yōu)勢(shì)：

　　一、形象：高度還原，極致靈動(dòng)。

　　網(wǎng)易云信虛擬形象實(shí)時(shí)互動(dòng)解決方案可以通過(guò)攝像頭或上傳的視頻檢測(cè)用戶面部表情動(dòng)作，從而驅(qū)動(dòng) 3D 虛擬人物做出相同表情，包括五官表情、頭部姿態(tài)、眼球運(yùn)動(dòng)、吐舌頭等均能還原追蹤。

　　部分傳統(tǒng)的做法為了減少設(shè)備性能要求，往往以犧牲用戶體驗(yàn)作為代價(jià)，例如動(dòng)畫匹配方式：當(dāng)用戶進(jìn)行說(shuō)話，或者動(dòng)作行為后，在預(yù)設(shè)的“表情、動(dòng)作數(shù)據(jù)庫(kù)”進(jìn)行幀動(dòng)畫的匹配，最后對(duì)一系列幀進(jìn)行匹配播放實(shí)現(xiàn)虛擬人的“表達(dá)”。但是人類的行為是多樣化的、隨機(jī)的，不可能對(duì)所有行為進(jìn)行預(yù)知預(yù)設(shè)，可想而知會(huì)出現(xiàn)所謂的“面癱”或者“僵尸”。而網(wǎng)易云信虛擬形象實(shí)時(shí)互動(dòng)解決方案采用的是“端上實(shí)時(shí)捕捉、云上實(shí)時(shí)驅(qū)動(dòng)”的方案，相比動(dòng)畫匹配方案，更真實(shí)靈動(dòng)。

　　二、硬件：無(wú)需穿戴設(shè)備，手機(jī)即可實(shí)現(xiàn)。

　　網(wǎng)易云信虛擬形象實(shí)時(shí)互動(dòng)解決方案支持使用普通單目攝像頭進(jìn)行遷移，無(wú)需其他動(dòng)捕設(shè)備，簡(jiǎn)單便捷。只需普通的移動(dòng)端設(shè)備或者 PC 端設(shè)備安裝網(wǎng)易云信 SDK 后即可生成并驅(qū)動(dòng)虛擬人，和遠(yuǎn)端真人驅(qū)動(dòng)的虛擬人進(jìn)行實(shí)時(shí)互動(dòng)。

　　三、性能：端-云協(xié)同，千元機(jī)也可暢玩。

　　用戶通過(guò)終端設(shè)備(移動(dòng)端或者 PC 端)進(jìn)行音視頻采集后，通過(guò)網(wǎng)易云信的 SDK 進(jìn)行動(dòng)作模型數(shù)據(jù)輸出，連同采集到的音視頻數(shù)據(jù)傳輸?shù)皆贫诉M(jìn)行虛擬形象重建合成。

　　通過(guò)在云端進(jìn)行動(dòng)捕數(shù)據(jù)分析建模渲染，網(wǎng)易云信虛擬形象實(shí)時(shí)互動(dòng)解決方案極大的減輕雙端算法性能壓力，降低了用戶入門門檻，讓更多千元機(jī)用戶也可以提前體驗(yàn)虛擬互動(dòng)的樂(lè)趣，感受元宇宙福利。

　　四、互動(dòng)：低延時(shí)、無(wú)卡頓，元宇宙中的“面對(duì)面溝通”。

　　作為融合通信云專家，網(wǎng)易云信的 RTC 能力在行業(yè)一直處于領(lǐng)先地位。針對(duì)元宇宙中必不可少的“實(shí)時(shí)互動(dòng)”場(chǎng)景，網(wǎng)易云信 WE-CAN 全球智能路由網(wǎng)絡(luò)為“0 距離”溝通保駕護(hù)航。

　　面對(duì)復(fù)雜多樣的網(wǎng)絡(luò)環(huán)境、良莠不齊的終端設(shè)備，WE-CAN 可以穩(wěn)定提供全球范圍內(nèi)毫秒級(jí)延時(shí)的實(shí)時(shí)互動(dòng)能力，通過(guò)智能路由網(wǎng)絡(luò)擇優(yōu)選擇最佳路線，百毫秒內(nèi)觸達(dá)全球數(shù)百個(gè)國(guó)家和地區(qū)，為 99.9% 的通話提供無(wú)卡頓的音視頻服務(wù)�；�于高可靠低延時(shí)的網(wǎng)易云信 WE-CAN 全球智能路由網(wǎng)絡(luò)，網(wǎng)易云信虛擬形象實(shí)時(shí)互動(dòng)解決方案可以實(shí)現(xiàn)虛擬人實(shí)時(shí)互動(dòng)，像現(xiàn)實(shí)世界面對(duì)面對(duì)話一樣。

　　五、便捷：1個(gè)SDK即可實(shí)現(xiàn)元宇宙2大核心技術(shù)。

　　面對(duì)元宇宙中虛擬形象和實(shí)時(shí)互動(dòng)兩大難題，網(wǎng)易云信的一體化解決方案將虛擬形象和 RTC 在技術(shù)層面深度結(jié)合封裝，客戶再也無(wú)需對(duì)接多個(gè)供應(yīng)商，只需一個(gè) SDK 就可以構(gòu)建一個(gè)充滿遐想的高體驗(yàn)的虛擬形象實(shí)時(shí)互動(dòng)場(chǎng)景。

　　(網(wǎng)易云信「虛擬形象+RTC」融合 SDK 功能框架圖)

　　網(wǎng)易云信「虛擬形象+RTC」融合 SDK 承擔(dān)了音視頻采集/前處理，數(shù)據(jù)分析、編碼傳輸、解碼渲染等輕量級(jí)工作，將復(fù)雜的高算力的工作轉(zhuǎn)移到云端，借助融合 SDK 形成高效的端-云協(xié)同工作模式，提供虛擬形象實(shí)時(shí)互動(dòng)一體化能力�？缭礁呱畹募夹g(shù)壁壘，只需這一個(gè) SDK。

　　六、場(chǎng)景：金融、電商等多行業(yè)適用，降本增效快人一步。

　　值得一提的是，網(wǎng)易云信虛擬形象實(shí)時(shí)互動(dòng)解決方案不僅能夠應(yīng)用于元宇宙世界或娛樂(lè)社交行業(yè)，還可以廣泛應(yīng)用于各行各業(yè)，幫助企業(yè)降本增效的同時(shí)，也能提升客戶體驗(yàn)，從而提高用戶留存率，創(chuàng)造營(yíng)收。

　　金融行業(yè)：虛擬數(shù)字人客戶服務(wù)，提供 7 x 24 小時(shí)不打烊的溫暖服務(wù)

　　(金融行業(yè)應(yīng)用示例)

　　電商行業(yè)：虛擬人直播帶貨+客戶服務(wù)，帶來(lái)業(yè)務(wù)營(yíng)收、客戶體驗(yàn)雙重提升

　　(電商行業(yè)應(yīng)用示例)

　　......

　　小結(jié)

　　盡管進(jìn)入元宇宙需要解決這樣或那樣的問(wèn)題，但不可否認(rèn)，元宇宙場(chǎng)景的實(shí)現(xiàn)、元宇宙產(chǎn)業(yè)的成熟，只是時(shí)間問(wèn)題�！额^號(hào)玩家》里的場(chǎng)景可能還得再想象幾年，但虛實(shí)融合已是互聯(lián)網(wǎng)發(fā)展的大趨勢(shì)。

　　一直以來(lái)，網(wǎng)易云信精益求精地打磨技術(shù)，站在行業(yè)前沿探尋風(fēng)向，希望能夠幫助行業(yè)客戶不錯(cuò)失每一個(gè)機(jī)會(huì)�，F(xiàn)在，歡迎各位朋友和網(wǎng)易云信一起，邁出進(jìn)入元宇宙的第一步。

　　填寫表單https://survey.163.com/htmls/fg23e7/paper.html，立即免費(fèi)試用。

　　關(guān)注網(wǎng)易云信公眾號(hào)，回復(fù)“元宇宙”即可免費(fèi)試用。