前言:實時音視頻 RTC(Real-Time Communication),是新冠疫情黑天鵝事件中快速普及并崛起的技術(shù)與行業(yè)。資本加碼,爆款應用,讓實時音視頻的想象空間被放大。安全可靠的全球互聯(lián)網(wǎng)通信云廠商融云CTO任杰近期接受了媒體采訪,對于RTC技術(shù)關(guān)鍵點、創(chuàng)新的使用場景有哪些,未來RTC將引爆什么行業(yè),開發(fā)者的機會又在哪里,闡述了自己的看法。
融云CTO 任杰
RTC的新挑戰(zhàn)
在RTC普及之前,高大上的視頻會議和電視電話會議,需要用到專網(wǎng)和專有硬件。大概在2012年前后,隨著3G、4G網(wǎng)絡(luò)的建設(shè)和WiFi普及,RTC技術(shù)開始進入互聯(lián)網(wǎng)。不過,任杰提到,各種手機、PC等設(shè)備都開始進入了互聯(lián)網(wǎng)的視頻通信領(lǐng)域,設(shè)備變得不可控。另外,從專有網(wǎng)絡(luò)變成了廣域網(wǎng)和互聯(lián)網(wǎng)以及無線網(wǎng)絡(luò)、4G網(wǎng)絡(luò),網(wǎng)絡(luò)也變得不可控。
“PC不是為了通信這個場景進行的設(shè)計,所以在回聲消除、降噪、視頻采集編碼層面都有不同的處理,有很多設(shè)備適配、算法的重新適配,大量細碎的功能要去做;手機在無線網(wǎng)絡(luò)下,丟包和帶寬會有瞬時變化,這些是新場景下面臨的新問題,我們要重新去解決它,用新算法、新模式去處理它。”任杰說。
2021年初,W3C(萬維網(wǎng)聯(lián)盟)和IETF(互聯(lián)網(wǎng)工程任務(wù)組)宣布WebRTC成為官方標準,任杰認為WebRTC被標準化組織接納認可,但并不代表著RTC的技術(shù)已經(jīng)成熟。“一個行業(yè)如果在持續(xù)爆發(fā)和持續(xù)高發(fā)展階段,我們很難說它的技術(shù)是成熟的,因為場景越來越多,運用的設(shè)備技術(shù)也越來越多。音視頻編碼在不斷變化,新場景下的網(wǎng)絡(luò)對抗、機器學習、降噪技術(shù),都在持續(xù)井噴的發(fā)展過程中。”任杰如是說。
新的技術(shù)、場景,也帶來了新的挑戰(zhàn)。任杰總結(jié)了四個融云在現(xiàn)階段面臨的RTC挑戰(zhàn):
1、高清視頻:隨著WiFi和5G等基礎(chǔ)設(shè)施的升級,用戶對音視頻質(zhì)量要求更高,融云會跟隨新的編碼標準去提供高質(zhì)量、高碼率、高幀率的視頻體驗。
2、語音還原度:傳統(tǒng)算法已經(jīng)不能滿足現(xiàn)有高質(zhì)量、高還原度的使用體驗與要求,RTC將與AI結(jié)合,研發(fā)降噪、提升智能分辨率、提高整體視覺清晰度的技術(shù),這是融云RTC技術(shù)研發(fā)的一大方向。
3、大量智能設(shè)備適配:除了安卓,將有大量實時操作系統(tǒng)RTOS設(shè)備進入RTC領(lǐng)域,而這些設(shè)備有些配置較低,標準參差不齊,都需要RTC廠商做好適配,保證交互體驗。
4、全球節(jié)點部署,服務(wù)出海開發(fā)者:互聯(lián)網(wǎng)市場的人口紅利在逐漸消失,出海開發(fā)者的音視頻業(yè)務(wù)需求量很大,融云在做全球節(jié)點的部署,以及更好的調(diào)度算法,確保全球任何一個地方、任何一種方式接入,都有優(yōu)越的音視頻體驗。
RTC的三大創(chuàng)新場景
雖然疫情讓RTC極大普及,但是任杰認為,疫情本身并未創(chuàng)造新的RTC場景,而是推動了音視頻在各類場景和行業(yè)落地,加速了RTC發(fā)展進程。
他舉例說明,在線教育毫無疑問是疫情中被推動與廣泛落地的RTC場景。除了k12(kindergarten through twelfth grade,學前教育至高中教育的縮寫,代指基礎(chǔ)教育)的在線課程外,現(xiàn)在素質(zhì)教育也在向線上遷移。不過與基礎(chǔ)教育不同的是,素質(zhì)教育涉及經(jīng)驗的傳遞和指導,是更加個人化的過程,例如音樂、繪畫,過程要求比較高。RTC技術(shù)與使用體驗感的提升,將有助于素質(zhì)教育的在線化進程。
教育的另一個創(chuàng)新場景是在線考試,考試一直是嚴肅的事,過程控制更加嚴格。而因為疫情影響,考試也開始線上化,例如考場設(shè)前置攝像頭、后置攝像頭,并全程錄像,方便監(jiān)督和考試后抽查。
除了教育,任杰提到第二個RTC創(chuàng)新場景將是強互動型與娛樂應用。電商直播、共享電影、線上拍賣、3D虛擬形象的語音社交、在線合唱等等,這些強互動型應用將會越來越多,值得開發(fā)者從產(chǎn)品層面發(fā)揮想象力。
第三個創(chuàng)新場景在行業(yè)應用中,疫情之后需要“無接觸服務(wù)”各個行業(yè),包括政府辦事、金融、保險、交通、海關(guān)等等領(lǐng)域,都在將辦事、審批服務(wù)過程轉(zhuǎn)向線上,這些也是RTC非常重要的新場景。
當AI遇見RTC
對于RTC和AI、5G等新技術(shù)的融合趨勢,任杰分別介紹了AI技術(shù)對音視頻領(lǐng)域四類問題的解決辦法。
AI智能降噪。比如在線教育場景下,(老師/學生)敲擊鍵盤、倒水、咳嗽的聲音,過去的算法對這些非穩(wěn)態(tài)噪音無能為力,而AI技術(shù)可以分辨的場景和分辨的噪聲更多,將幫助RTC在降噪方面有較大提升;
AI超分處理。在相同帶寬下傳輸?shù)囊曨l圖像,利用AI技術(shù)可以使其在解碼還原后較之前更加清晰;
利用AI技術(shù)把不同的視頻場景或者音頻場景分辨與分開。對于靜態(tài)場景編碼、清晰度和幀率的控制,對于動態(tài)場景下編碼和幀率的控制,用AI技術(shù)都可以將其區(qū)分開,做不同的處理;以及用AI技術(shù)重構(gòu)帶寬估計的算法。
對于更遠的未來,在全真互聯(lián)網(wǎng)時代,任杰表示,音視頻從采集到編碼、傳輸、解碼、渲染、互動的整個過程,將是全真互聯(lián)網(wǎng)必須具備的一大塊能力,而RTC有望成為全真互聯(lián)網(wǎng)的基礎(chǔ)設(shè)施。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標識解析專題論壇在沈陽成功舉辦。