12月2日,在「新云·共未來」云產(chǎn)品發(fā)布會上,火山引擎點播基礎(chǔ)技術(shù)負(fù)責(zé)人馬茜進(jìn)行了主題為《火山引擎視頻點播:端云一體化服務(wù)打造極致播放體驗》的演講。她以視頻點播為例,分享了火山引擎視頻云團(tuán)隊在視頻畫質(zhì)體驗、播放體驗、性能體驗三個方面進(jìn)行的優(yōu)化。
火山引擎點播基礎(chǔ)技術(shù)負(fù)責(zé)人馬茜
以下為演講全文:
大家好,非常開心給大家?guī)砘鹕揭嬉曨l云的技術(shù)分享。
火山引擎視頻點播是集音視頻編輯、上傳、媒資管理、處理、分發(fā)、播放于一體的端到端解決方案,幫助企業(yè)和開發(fā)者快速搭建安全、彈性、高效、可定制的視頻點播平臺和應(yīng)用。
對于點播應(yīng)用而言,高畫質(zhì)、零卡頓、低成本是用戶的三大持續(xù)性需求;诖耍鹕揭嬉曨l云團(tuán)隊在畫質(zhì)、播放、性能三方面進(jìn)行了深入優(yōu)化。
畫質(zhì)體驗:全鏈路畫質(zhì)調(diào)優(yōu)三步曲
隨著終端設(shè)備與網(wǎng)絡(luò)基礎(chǔ)設(shè)施的不斷升級,用戶對于高清畫質(zhì)的訴求也隨之增長。為此火山引擎視頻云團(tuán)隊打造了全鏈路的畫質(zhì)優(yōu)化解決方案,包含畫質(zhì)評測、畫質(zhì)檢測與智能處理、畫質(zhì)監(jiān)控三個方面。
畫質(zhì)評測-「評測」先于「優(yōu)化」
由于觀眾對圖像質(zhì)量感知的主觀差異性,畫質(zhì)評測一直是業(yè)界難點。一般對于圖像質(zhì)量的定義有兩種:
●從信號處理角度,關(guān)注成像系統(tǒng)中信號的準(zhǔn)確性,如采集、處理、傳輸中畫面是否有損,但在很多場景下,主觀觀看效果很難量化;
●從人眼視覺角度,關(guān)注觀看者的感受,但審美水平不同的觀看者,反饋結(jié)果也不同。
針對這種情況,視頻云團(tuán)隊建立了一套可量化的指標(biāo),輔助評測視頻畫質(zhì):
●全參考評價指標(biāo):PSNR、SSIM、VMAF等常用指標(biāo),用于評測視頻轉(zhuǎn)碼和分發(fā)期間的質(zhì)量變化;
●無參考評價指標(biāo):VQScore,模仿用戶主觀感受及美學(xué)質(zhì)量,用于分析上傳視頻的質(zhì)量,并以探針方式靈活接入視頻處理鏈路的任意節(jié)點。
畫質(zhì)檢測與智能處理-對癥下藥
不同的視頻有不同類型、不同程度的畫質(zhì)問題,很難用統(tǒng)一的技術(shù)方案進(jìn)行修復(fù)。視頻云團(tuán)隊基于畫質(zhì)評測的結(jié)果,針對各維度提煉出對應(yīng)的個性化修復(fù)模塊,并排列組合調(diào)優(yōu)。“對癥下藥”使得每部片子都有針對性的修復(fù)方案,最終達(dá)到最理想的修復(fù)效果。
今年10月,西瓜視頻聯(lián)合火山引擎宣布在未來一年時間內(nèi)對百部經(jīng)典動畫進(jìn)行修復(fù),其中的老片修復(fù)技術(shù),就是智能處理的一項能力應(yīng)用。在智能修復(fù)的同時,我們也保留了其原有藝術(shù)風(fēng)格,在追求高清的過程中不破壞原有美感。
以水墨畫、剪紙風(fēng)格組成的《葫蘆兄弟》為例,我們通過算法對其進(jìn)行了精準(zhǔn)識別和區(qū)分,在保持水墨部分模糊朦朧的同時,對剪紙部分進(jìn)行修復(fù)增強(qiáng),最終達(dá)到最優(yōu)的修復(fù)效果。
畫質(zhì)監(jiān)控-告別元無知
除畫質(zhì)評估與檢測外,針對海量視頻,視頻云團(tuán)隊打造了高時效、多維度的監(jiān)控方案,全天候不間斷地檢測視頻質(zhì)量,降低人工審核成本,減少線上服務(wù)的風(fēng)險和事故率,告別畫質(zhì)體驗元無知。
播放體驗:站在用戶視角衡量技術(shù)演進(jìn)
音視頻產(chǎn)品在進(jìn)行技術(shù)優(yōu)化時,經(jīng)常面臨一系列靈魂拷問:
●業(yè)務(wù)數(shù)據(jù)不好,是不是因為播放體驗不好?
●新上線的優(yōu)化,收益到底如何?
●我們和競品之間的差距在哪里?是否影響業(yè)務(wù)增長?
為了更好地理解并解決以上疑問,視頻云團(tuán)隊建立了一套播放體驗質(zhì)量服務(wù)體系。
質(zhì)量指標(biāo)-知其然,知其所以然
在視頻云團(tuán)隊看來,以下三個質(zhì)量指標(biāo),可以體現(xiàn)音視頻產(chǎn)品相應(yīng)的業(yè)務(wù)情況:
●業(yè)務(wù)數(shù)據(jù):包括 DAU、留存、廣告收入、成本等數(shù)據(jù);
●QoE:播放次數(shù)、播放時長、完播率;
●QoS:卡頓、起播時長、失敗率、畫質(zhì)指標(biāo)。
通過技術(shù)上面向 QoS 的指標(biāo)優(yōu)化,可以正向影響 QoE 和業(yè)務(wù)數(shù)據(jù)的增長。
技術(shù)優(yōu)化-面向業(yè)務(wù),理解客戶
基于以上數(shù)據(jù)指標(biāo),如何關(guān)聯(lián) QoS 指標(biāo)與 QoE、業(yè)務(wù)數(shù)據(jù)?視頻云團(tuán)隊基于實際業(yè)務(wù)不斷進(jìn)行技術(shù)優(yōu)化與打磨。
例如起播時長是影響播放體驗的重要因素之一,經(jīng)過大量的場景研究,視頻云團(tuán)隊發(fā)現(xiàn)當(dāng)超過 200ms時,起播時長再增加對用戶體驗有明顯的劣化作用。那么對于該業(yè)務(wù)場景,將大盤起播時長優(yōu)化到至少200ms以下,就可以保障用戶體驗。
某應(yīng)用用戶起播等待時長與用戶離開速率
基于大量實踐數(shù)據(jù),火山引擎視頻云沉淀出一系列可復(fù)制的、能夠提升業(yè)務(wù)增長的技術(shù)方法,包括“零首幀”預(yù)加載策略、復(fù)雜網(wǎng)絡(luò)環(huán)境的弱網(wǎng)弱機(jī)策略等。借助端云一體化的技術(shù)框架能力,將策略算法與播控能力產(chǎn)品化輸出給更多企業(yè)。
性能體驗:成本與體驗的非零和博弈
隨著5G時代的到來,視頻高清化的需求進(jìn)一步提升,從480p到1080p,再到8K,消費者對高清視頻的需求永無止境。如何在有限的計算資源下,實現(xiàn)用戶體驗和技術(shù)成本的最優(yōu)化,這也正是各類視頻編碼標(biāo)準(zhǔn)和傳輸標(biāo)準(zhǔn)演進(jìn)的動力。
火山引擎端云一體化 H.265 解決方案
H.265 是 ITU-TVCEG 繼 H.264 之后所制定的新的視頻編碼標(biāo)準(zhǔn),在有限帶寬下傳輸更高質(zhì)量的網(wǎng)絡(luò)視頻,僅需一半帶寬即可播放相同質(zhì)量的視頻;鹕揭嬉曨l云團(tuán)隊基于對 H.265 的深入研究,打造了端云一體化的 H.265 解決方案,帶來全新性能體驗:
●自研H.265編碼器達(dá)到了24%-45%的成本優(yōu)化
●H.265 VV覆蓋度 >85%,有效節(jié)省帶寬成本
●智能熱度轉(zhuǎn)碼,H.265 轉(zhuǎn)碼利用率>90%,避免轉(zhuǎn)碼算力浪費
●Fallback 比例<0.3%,有效提升播放成功率并縮短首幀時間
●自研軟件解碼速度比開源方案快40%+,CPU比業(yè)界低30%
●起播時長<100ms,端卡頓時長減少15%
打造行業(yè)領(lǐng)先的編碼技術(shù)
除 H.265 標(biāo)準(zhǔn)外,火山引擎視頻云團(tuán)隊自研 BVC 編碼器,正式支持 H.266/VVC 標(biāo)準(zhǔn)。
針對移動端用戶眾多、設(shè)備性能參差不齊的問題,視頻云團(tuán)隊在 Android 和 iOS 的 Arm 平臺上,對 BVC 解碼器進(jìn)行優(yōu)化,在部分設(shè)備上的解碼速度達(dá)到參考軟件的數(shù)十倍。和開源 x265 基準(zhǔn)編碼器相比,BVC1 最高可節(jié)省 55% 的存儲和帶寬成本。
以上就是我的全部分享,未來火山引擎視頻云團(tuán)隊將不斷打磨產(chǎn)品和優(yōu)化技術(shù),打造面向體驗的視頻云,致力于為大家?guī)順O致的音視頻體驗。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設(shè)計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強(qiáng)大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。