詳解虎牙AI超分技術(shù)：“無中生有”打造S9直播4K畫質(zhì)

　　4K高清圖像，超過每秒24幀的高速攝影......這些實(shí)現(xiàn)人類極致觀看體驗(yàn)的最新技術(shù)，如果應(yīng)用到直播領(lǐng)域，會(huì)有怎樣的效果呢?

　　近日，虎牙直播宣布，推出“4K+60幀+20M”超分超高清三件套，成為S9全球獨(dú)家4K直播平臺(tái)。據(jù)悉，虎牙技術(shù)團(tuán)隊(duì)借助超分技術(shù)，實(shí)現(xiàn)了S9賽事視頻由1080P到4K的提升，同時(shí)畫面額外延時(shí)僅僅增加100毫秒。游戲玩家和業(yè)內(nèi)人士普遍認(rèn)為，虎牙引領(lǐng)的這一次技術(shù)飛躍，無疑將開啟游戲直播的一場(chǎng)“革命”。

　　“感覺看直播就跟真正進(jìn)入玩游戲的畫質(zhì)一樣”

　　據(jù)介紹，虎牙依托強(qiáng)大的 AI 超分辨處理能力和視頻編碼優(yōu)化, 將S9賽事視頻由本身的1080P分辨率著提升到 4K分辨率;同時(shí)通過高可靠、低延時(shí)的全球化分發(fā)網(wǎng)絡(luò)，將20M 的超高碼率碼流傳輸給用戶，完成了從1080P到4K分辨率、60幀、20M實(shí)時(shí)視頻轉(zhuǎn)碼直播。

　　虎牙音視頻網(wǎng)絡(luò)技術(shù)部算法負(fù)責(zé)人表示，推出此項(xiàng)技術(shù)，是因?yàn)榘l(fā)現(xiàn)目前用戶可以獲取的4K視頻源是很不足的，在直播行業(yè)更是如此。而對(duì)于S9這種頂級(jí)賽事來說，如果能夠提供超高清畫質(zhì)，無疑是滿足了用戶最迫切的需求。

　　針對(duì)這一痛點(diǎn)，虎牙直播利用超分技術(shù)，將S9賽事視頻的分辨率由1080P提升到4K，顯著提升畫質(zhì)。畫質(zhì)的提升也得到了用戶的肯定，有用戶在虎牙4K直播間彈幕表示，“用手機(jī)2K屏幕觀看S9的4K直播頻道的時(shí)候甚至?xí)�有種‘錯(cuò)覺’，感覺看直播就跟真正進(jìn)入玩游戲的畫質(zhì)一樣。“

　　(S9虎牙4K直播間截圖)

　　據(jù)了解，主流超分辨率技術(shù)可以分為傳統(tǒng)重建技術(shù)和神經(jīng)網(wǎng)絡(luò)技術(shù)。此前流行的傳統(tǒng)重建技術(shù)用濾波的方式重新恢復(fù)圖像信息，但因?yàn)楦哳l信號(hào)在最初圖像采集中丟失，重建后的高分辨率圖像會(huì)出現(xiàn)不自然的光滑紋理，影像畫質(zhì)體驗(yàn)。而2016年以來興起的基于學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)技術(shù)，是讓機(jī)器模擬大腦的神經(jīng)元網(wǎng)絡(luò)，學(xué)習(xí)不同分辨率的圖像的像素映射關(guān)系，利用多層卷積網(wǎng)絡(luò)算法，將低分辨率圖像重建為高分辨率圖像。

　　而虎牙創(chuàng)造性地利用最新的AI深度學(xué)習(xí)模式，通過海量對(duì)比運(yùn)算，不斷調(diào)試和糾正重建畫面時(shí)的偏差問題，并通過人工智能提高計(jì)算能力，最終使虎牙的超分辨率算法成功實(shí)現(xiàn)了圖像高清還原和增強(qiáng)。無論是在細(xì)節(jié)、色彩、明暗還是銳度方面，都可以最大限度接近人類視覺的自然感受。

　　“4K超分高清畫面額外延時(shí)僅增加100毫秒”

　　讓游戲愛好者得到大片一般的直播觀看體驗(yàn)，不能只靠理論架構(gòu)的藍(lán)圖，還有有踏實(shí)的技術(shù)完善之路。

　　據(jù)虎牙音視頻網(wǎng)絡(luò)技術(shù)部算法負(fù)責(zé)人介紹，立項(xiàng)之初，他們就面臨著兩大挑戰(zhàn)：一個(gè)是技術(shù)層面的，即如何優(yōu)化AI超分模型以及計(jì)算推理能力，使其不僅實(shí)現(xiàn)畫質(zhì)的大幅提高，并且運(yùn)行速率可以滿足4K、 60FPS的實(shí)時(shí)處理;另一個(gè)就是架構(gòu)層面的，即虎牙音視頻分發(fā)體系如何快速應(yīng)對(duì)這種傳輸鏈路的更改以及處理節(jié)點(diǎn)調(diào)度，保證其直播內(nèi)容依然是低延時(shí)、穩(wěn)定流暢地呈現(xiàn)到全球觀眾面前。

　　眾所周知，實(shí)時(shí)處理是直播業(yè)務(wù)的準(zhǔn)入門檻之一。而虎牙經(jīng)過多年來技術(shù)積累，在實(shí)時(shí)處理上已經(jīng)積累了豐富的成果。此次的4K超分辨率處理，也需要每秒完成60幀的高分辨率圖像重建同時(shí)進(jìn)行視頻編碼。而這個(gè)過程，是在虎牙的GPU轉(zhuǎn)碼集群內(nèi)處理，視頻數(shù)據(jù)再經(jīng)由已有的虎牙傳輸分發(fā)平臺(tái)，分發(fā)到世界各地。

　　延時(shí)處理也是虎牙本次的重大突破。采用流媒體方式播放的網(wǎng)絡(luò)視頻都需要經(jīng)過編碼——壓縮——解碼這一過程，讓視頻能以較小的數(shù)據(jù)量在網(wǎng)絡(luò)中傳輸，從而在有限的帶寬中保持傳輸效率，確保終端可以流暢、穩(wěn)定地接收和播出。這一過程中存在的延時(shí)問題，是影響觀看體驗(yàn)的重要因素。

　　“為解決延時(shí)問題，我們從算法到總體通訊架構(gòu)都做了大量的技術(shù)工作。我們知道，端到端延時(shí)的優(yōu)化其實(shí)是一個(gè)全鏈路的優(yōu)化的集合，因此我們?cè)谀Ｐ驼{(diào)優(yōu)、異構(gòu)計(jì)算和硬件升級(jí)上都做了全方位的優(yōu)化處理。在我們技術(shù)團(tuán)隊(duì)的努力下，4K超分高清畫面帶來的額外節(jié)點(diǎn)延時(shí)僅增加了100ms。”虎牙音視頻網(wǎng)絡(luò)技術(shù)部算法負(fù)責(zé)人介紹。

　　“項(xiàng)目從立項(xiàng)到上線歷時(shí)不到1個(gè)月時(shí)間”

　　盡管有重重技術(shù)障礙，但虎牙4K項(xiàng)目從提出概念、立項(xiàng)，到平臺(tái)上線服務(wù)用戶，前后只用了不到一個(gè)月的時(shí)間。這不僅是因?yàn)榛⒀罁碛袕?qiáng)大的研發(fā)團(tuán)隊(duì)，也得益于虎牙在前沿技術(shù)領(lǐng)域的長(zhǎng)期跟進(jìn)和積累。

　　客觀而言，直播畫質(zhì)是個(gè)綜合性問題，會(huì)受原圖質(zhì)量，計(jì)算能力，編碼參數(shù)，用戶帶寬等因素影響。超分技術(shù)可以提高原圖質(zhì)量，但也要配合其他技術(shù)綜合一起，才可以達(dá)到最優(yōu)效果。如本次的4K高清，除使用AI進(jìn)行視頻圖像處理外，虎牙還應(yīng)用了大型音視頻直播分發(fā)系統(tǒng)，對(duì)視頻實(shí)時(shí)加工的處理支撐技術(shù)等。

　　從AI智能彈幕，到本次推出的4K超分超高清S9視頻，虎牙在AI技術(shù)領(lǐng)域不斷突破。近期，在韓國(guó)舉辦的2019年國(guó)際計(jì)算機(jī)視覺大會(huì)(簡(jiǎn)稱ICCV)上，虎牙此前提交的兩篇論文成功入圍，并在大會(huì)上展出了虎牙的基礎(chǔ)技術(shù)，引起現(xiàn)場(chǎng)專家同行的認(rèn)可和好評(píng)。

　　而虎牙本次通過超分技術(shù)實(shí)現(xiàn)賽事視頻的畫質(zhì)提升，其意義絕不會(huì)只停留在賽事轉(zhuǎn)播上。據(jù)專家預(yù)測(cè)，到2021年，多媒體視頻圖像流量將占據(jù)整個(gè)互聯(lián)網(wǎng)流量的80%。如此龐大的視頻傳播和觀看需求，必然帶來相關(guān)技術(shù)的井噴式發(fā)展，也很可能成為下一個(gè)互聯(lián)網(wǎng)技術(shù)“風(fēng)口”。

　　更重要的是，隨著5G和物聯(lián)網(wǎng)逐漸從設(shè)想走向現(xiàn)實(shí)，虎牙直播的超分技術(shù)及實(shí)時(shí)視頻轉(zhuǎn)碼技術(shù)，與物聯(lián)網(wǎng)的高準(zhǔn)確率、低延時(shí)要求正好相符。隨著該技術(shù)的進(jìn)一步優(yōu)化，未來在游戲直播、戶外直播，甚至其他生活領(lǐng)域，將產(chǎn)生更多的應(yīng)用場(chǎng)景。