親加直播郝飛：直播技術(shù)架構(gòu)解密與優(yōu)化之道

 　　中國已在2016年進(jìn)入直播+時(shí)代，這種成本低廉、互動(dòng)性高、部署便捷、穩(wěn)定可靠的娛樂方式，最初僅僅局限于游戲直播和在線聊天，而隨著互聯(lián)網(wǎng)的逐漸發(fā)展，泛生活類、娛樂類直播也開始逐漸流行。

　　親加通訊云CTO郝飛接受CSDN邀請(qǐng)繪制了直播技術(shù)知識(shí)圖譜，創(chuàng)建直播技術(shù)知識(shí)庫，幫助廣大開發(fā)者更加系統(tǒng)、全面的學(xué)習(xí)直播技術(shù)。

　　CSDN：請(qǐng)先簡(jiǎn)單介紹一下自己

　　郝飛：有5年移動(dòng)互聯(lián)網(wǎng)創(chuàng)業(yè)經(jīng)歷，15年軟件開發(fā)經(jīng)驗(yàn)，在流媒體，音視頻編解碼，VOIP和視頻會(huì)議方面有豐富的產(chǎn)品和研發(fā)經(jīng)驗(yàn)。2011年作為聯(lián)合創(chuàng)始人成立了親加團(tuán)隊(duì)，帶領(lǐng)團(tuán)隊(duì)創(chuàng)建了國內(nèi)首個(gè)即時(shí)通訊云平臺(tái)服務(wù)。

　　CSDN：請(qǐng)問你是如何與直播技術(shù)結(jié)緣的?

　　郝飛：我一直在從事音視頻相關(guān)的工作。最開始主要做音視頻編解碼器的優(yōu)化，也涉及到Windows 平臺(tái)下的多媒體開發(fā)。當(dāng)時(shí)公司開發(fā)的無線數(shù)字電視接收棒，在2008奧運(yùn)期間很好的滿足了移動(dòng)辦公者看奧運(yùn)的需求。后來到百視通，也主要負(fù)責(zé)移動(dòng)智能手機(jī)的點(diǎn)播直播業(yè)務(wù)。親加通訊云成立后，我們的服務(wù)首先覆蓋了文本，圖片，語音短信的即時(shí)通訊需求，隨著行業(yè)的繼續(xù)發(fā)展，很多應(yīng)用迫切需要視頻的交互，因此親加盡快提升了平臺(tái)能力，目前支持包括實(shí)時(shí)音視頻，直播等視頻交互方案。

　　CSDN：分享一下直播相關(guān)的技術(shù)及架構(gòu)

　　郝飛：直播涉及到很多環(huán)節(jié)，從音視頻采集，編碼，媒體流封裝，網(wǎng)絡(luò)轉(zhuǎn)發(fā)，再到播放端接收，解碼，播放，其中每個(gè)環(huán)節(jié)都涉及很多細(xì)節(jié)，其基本的結(jié)構(gòu)圖如下：

　　直播技術(shù)結(jié)構(gòu)圖

　　具體解釋如下：

　　音視頻數(shù)據(jù)分別進(jìn)行采集和編碼;視頻數(shù)據(jù)的采集方式包括攝像頭，桌面，圖片，視頻文件，以及帶視頻采集的各類設(shè)備;

　　音視頻數(shù)據(jù)經(jīng)過編碼后根據(jù)封裝格式進(jìn)行復(fù)用處理，然后封包后發(fā)到流媒體服務(wù)器;目前通用的直播協(xié)議采用的是RTMP;

　　云端的數(shù)據(jù)分發(fā)使用CDN網(wǎng)絡(luò)，CDN的作用主要包括兩點(diǎn)：第一是保證用戶請(qǐng)求流媒體的網(wǎng)絡(luò)質(zhì)量，CDN 會(huì)選擇離用戶最近的節(jié)點(diǎn)為其提供服務(wù); 第二是通過流媒體服務(wù)器的級(jí)連方式保證大并發(fā)用戶的支持;

　　媒體流在云端除了進(jìn)行轉(zhuǎn)發(fā)，還要進(jìn)行轉(zhuǎn)碼，切片(HS)和錄制等處理;轉(zhuǎn)碼可以支持多種分辨率格式，從而滿足不同屏幕對(duì)不同分辨率碼流的要求;轉(zhuǎn)HS協(xié)議主要是為了支持手機(jī)H5 端觀看;同時(shí)，碼流會(huì)被錄制下來，供以后點(diǎn)播使用;

　　觀看直播的用戶根據(jù)接入運(yùn)營商信息和位置信息會(huì)得到就近的CDN 節(jié)點(diǎn)，后續(xù)的流媒體數(shù)據(jù)就是通過此服務(wù)節(jié)點(diǎn)進(jìn)行拉取的。

　　CSDN：請(qǐng)你談?wù)動(dòng)嘘P(guān)直播技術(shù)架構(gòu)的改進(jìn)思考

　　郝飛：目前普遍使用的直播技術(shù)是一種單向的流媒體傳輸技術(shù);因此，互動(dòng)在直播的場(chǎng)景中就顯得格外重要，這也是聊天和連麥等互動(dòng)技術(shù)淺淺成為直播標(biāo)配的原因。其中，聊天是獨(dú)立于直播的單獨(dú)服務(wù)，對(duì)直播架構(gòu)沒有影響;但連麥功能，其實(shí)會(huì)影響到直播本來的架構(gòu)，支持了多人連麥后，其架構(gòu)如下：

　　具體說明如下：

　　主播端加入視頻會(huì)議系統(tǒng);此處注意，主播端不再直接推視頻給CDN;

　　視頻會(huì)議系統(tǒng)把主播的視頻流推向CDN，觀眾通過CDN觀看主播視頻;

　　參與連麥的觀眾登錄到與主播端同一個(gè)視頻會(huì)議頻道中，此時(shí)主播端和連麥者通過實(shí)時(shí)的視頻會(huì)議進(jìn)行交互;主播與連麥者的視頻，經(jīng)過服務(wù)端混合后輸出給CDN;

　　其他用戶通過CDN觀看主播與連麥者的交互。

　　大家可以看到，在流媒體服務(wù)器之外，整個(gè)架構(gòu)中多了一個(gè)Conference Server，這個(gè)服務(wù)實(shí)現(xiàn)了連麥者之間實(shí)時(shí)音視頻交互的功能，同時(shí)，它還要把這個(gè)交互的畫面合成后分發(fā)給CDN; 這是對(duì)傳統(tǒng)直播流程的一個(gè)改進(jìn);

　　另外，目前的直播普遍采用的是RTMP等協(xié)議，其系統(tǒng)延遲在3秒左右，但越來越多的直播業(yè)務(wù)期望更低的延遲，這樣就不會(huì)出現(xiàn)直播視頻與聊天信息不同步等尷尬的事情。如果用戶端與媒體服務(wù)器的傳輸協(xié)議修改成UDP協(xié)議，并且做好糾錯(cuò)與丟包補(bǔ)償?shù)忍幚�，這樣就可以大大減少系統(tǒng)的延遲，能夠控制在一秒以內(nèi)，同時(shí)，再通過負(fù)載分配支持大量級(jí)用戶的接入，相信這樣低延遲的CDN方案是很多用戶所期望的。

　　CSDN：直播過程中，如何防止丟幀和卡頓的發(fā)生，提高QoS?

　　郝飛：目前國內(nèi)的直播大多使用RTMP和Http-FV協(xié)議，它們都是基于TCP的，因此不會(huì)出現(xiàn)丟幀的現(xiàn)象。但卡頓是很有可能出現(xiàn)的，卡頓產(chǎn)生的主要原因是播放端拉取的媒體流不足以滿足流暢播放所需要的數(shù)據(jù)量，這往往是網(wǎng)絡(luò)原因?qū)е碌摹？赡艹霈F(xiàn)的環(huán)節(jié)包括：

　　主播端上傳的網(wǎng)絡(luò)：如果主播端上傳網(wǎng)絡(luò)出現(xiàn)問題，不能保證流媒體即時(shí)的發(fā)送，則所有觀看端都會(huì)出現(xiàn)卡頓的問題;

　　CDN分發(fā)：CDN節(jié)點(diǎn)之間需要轉(zhuǎn)發(fā)流媒體數(shù)據(jù)，如果某一個(gè)轉(zhuǎn)發(fā)節(jié)點(diǎn)的網(wǎng)絡(luò)出現(xiàn)問題，將會(huì)影響所有連接此節(jié)點(diǎn)用戶的播放質(zhì)量;

　　播放端網(wǎng)絡(luò)：如果播放端自身網(wǎng)絡(luò)不夠好，那么即使CDN已經(jīng)分配了就近節(jié)點(diǎn)，這個(gè)用戶依然會(huì)出現(xiàn)卡頓的情況。

　　因此，如果要避免卡頓，需要同時(shí)監(jiān)測(cè)以上幾個(gè)環(huán)節(jié)。主播端和播放端都可以通過監(jiān)測(cè)客戶端網(wǎng)絡(luò)，把實(shí)際網(wǎng)絡(luò)發(fā)送接收情況上報(bào)給服務(wù)器，從而在服務(wù)端快速定位到卡頓情況的發(fā)生。同時(shí)，以第三方CDN監(jiān)控服務(wù)作為輔助，監(jiān)測(cè)CDN節(jié)點(diǎn)的服務(wù)質(zhì)量和穩(wěn)定性，這樣就可以盡早發(fā)現(xiàn)和定位卡頓問題，提高QoS了。

　　CSDN:分享一下視頻直播秒開背后都運(yùn)用到了哪些技術(shù)?

　　郝飛：所謂的秒開就是從點(diǎn)擊直播節(jié)目開始到出現(xiàn)第一幀圖像的時(shí)間控制在一秒以內(nèi)，有了這種體驗(yàn)，用戶使用起來才會(huì)感覺足夠順暢; 如何才能達(dá)到秒開的效果呢?首先我們來分析下第一幀視頻顯示前需要哪些步驟。

　　視頻顯示前的準(zhǔn)備步驟：

　　1. 播放器首先通過DNS解析來獲取流媒體訪問節(jié)點(diǎn);

　　2. 播放器與最近的流媒體節(jié)點(diǎn)建立連接，然后根據(jù)所使用的協(xié)議進(jìn)行握手;

　　3. 從CDN節(jié)點(diǎn)接收流媒體數(shù)據(jù)后，Demux從流數(shù)據(jù)中區(qū)分出音頻和視頻的數(shù)據(jù)信息，分別交給音視頻解碼器;

　　音視頻解碼器進(jìn)行解碼操作;對(duì)于視頻來說，由于B幀和P幀都要參考I 幀，因此解碼器解碼的第一幀必須是I 幀;第一個(gè)I 幀以前的視頻數(shù)據(jù)都稱為無效數(shù)據(jù);

　　音視頻解碼后的數(shù)據(jù)發(fā)送給上層payer進(jìn)行同步播放。

　　從以上流程中，大家可以了解到，通過以下方面的優(yōu)化可以減少第一幀圖像顯示的時(shí)間：

　　(1)DNS解析優(yōu)化

　　可以考慮在空閑的時(shí)候使用Ping 命令獲得域名對(duì)應(yīng)的IP，從而減少域名解析時(shí)間。

　　(2)傳輸層使用UDP

　　使用UDP的優(yōu)點(diǎn)是連接建立速度快，流傳輸效率高;缺點(diǎn)是應(yīng)用層需要解決網(wǎng)絡(luò)丟包的問題;目前大部分CDN 不支持UDP 協(xié)議的直播。

　　(3)使用Http-FV協(xié)議替代RTMP協(xié)議

　　目前播放端直播協(xié)議主要包括HS，RTMP，HTTP-FV，其中HS延遲比較大，直播類App 更傾向于使用RTMP 和HTTP-FV協(xié)議，他們的延遲基本上在一個(gè)數(shù)量級(jí);從滿足秒開的體驗(yàn)來看，建議使用HTTP-FV 協(xié)議，相比于RTMP，F(xiàn)V的握手協(xié)議要簡(jiǎn)單很多，下圖為兩種握手協(xié)議的對(duì)比：

　　RTMP和HTTP-FV對(duì)比圖

　　(4)服務(wù)端GOP數(shù)據(jù)緩存，減少播放端拿到無效流數(shù)據(jù)

　　由于播放端必須拿到I幀后才能夠開始解析，因此服務(wù)端緩存GOP 數(shù)據(jù)后，可以避免與播放端無效數(shù)據(jù)的傳遞;從而減少秒開的時(shí)間。

　　CSDN：談?wù)刉ebRTC在音頻通話開發(fā)中的使用?

　　郝飛：以下為音頻通話的基本原理圖：

　　CSDN：直播的美顏和水印等預(yù)處理都有哪些方案?

　　郝飛：目前的美顏效果主要就是磨皮和美白。磨皮的本質(zhì)就是模糊，常使用的算法包括高斯模糊和雙邊濾波，后者在邊緣上的處理效果會(huì)更好些。這些算法的實(shí)現(xiàn)在GPUImage這個(gè)開源項(xiàng)目中都有，可以很容易的集成到應(yīng)用中，但是簡(jiǎn)單的濾波算法還不足以滿足大家對(duì)美顏的要求。親加的美顏經(jīng)過了三個(gè)版本：

　　第一個(gè)版本的實(shí)現(xiàn)就是使用雙邊濾波，其特點(diǎn)是運(yùn)行速度很快，但是效果一般;

　　第二個(gè)版本使用了雙邊濾波+膚色檢測(cè)+輪廓識(shí)別+亮度調(diào)節(jié)的濾波組合; 其美顏效果很不錯(cuò)，但問題是性能開銷太大了，中檔以下機(jī)型會(huì)有些卡頓，并且發(fā)熱量大;

　　最后的版本采用的單濾鏡+亮度膚色調(diào)節(jié)，此版本兼顧了性能與效果，性能上與第一個(gè)版本類似，效果上與第二個(gè)版本類似。

　　以下是三個(gè)版本的美顏效果對(duì)比：

　　水印是直播中常見的功能之一，它可以用于簡(jiǎn)單的版權(quán)保護(hù)和廣告設(shè)置。目前，國家出于監(jiān)管的需要，也規(guī)定視頻直播必須打上水印。其實(shí)現(xiàn)一般是在主播端或者服務(wù)端實(shí)現(xiàn)，很少在觀看端實(shí)現(xiàn)。因?yàn)槿绻�放在觀看端，可能會(huì)有些惡意競(jìng)爭(zhēng)者直接拿到未加水印的視頻流，這樣就起不到數(shù)字保護(hù)的作用了;視頻內(nèi)嵌水印的實(shí)現(xiàn)比較簡(jiǎn)單，就是水印圖片與視頻圖片的合成，大部分圖像處理的庫中都包含這個(gè)功能。

　　CSDN:在直播中如何做到完美的交互體驗(yàn)?

　　郝飛：直播是數(shù)據(jù)的單向流動(dòng)，而在很多應(yīng)用場(chǎng)景中，只有讓用戶參與起來，形成主播與用戶，用戶與用戶之間的交互，這樣才更能體現(xiàn)直播的價(jià)值; 在實(shí)際應(yīng)用中，不同場(chǎng)景對(duì)交互有不同的需求，以下幾種交互滿足了大部分場(chǎng)景的交互需求;

　　1，支持超大用戶群的，內(nèi)容可監(jiān)管的互動(dòng)聊天室

　　聊天室目前已經(jīng)成為了直播的標(biāo)配功能，簡(jiǎn)單的實(shí)現(xiàn)一個(gè)聊天室并不難，但如果要支持幾十萬人同時(shí)在線的低延遲聊天場(chǎng)景就會(huì)比較困難了。同時(shí)，對(duì)于很多場(chǎng)景來說，聊天內(nèi)容是一定需要監(jiān)管的，傳統(tǒng)的監(jiān)管手段包括關(guān)鍵詞過濾，踢人，禁言等，其中關(guān)鍵詞過濾屬于事前監(jiān)管，踢人和禁言屬于事后處理。而事前監(jiān)管中，還有一種稱為“審核”的功能，也是非常有用的。在審核的流程中，用戶的發(fā)言必須通過審核員的檢查，通過審核的其它用戶才能看到。

　　2，連麥功能

　　在一對(duì)多直播中，用戶只能觀看，無法參與，而連麥功能使視頻不再只是單向的輸出，而變成了雙向交互的升級(jí)形態(tài)，從而給用戶帶來更多的參與感，其流程如下：

　　正在直播中的節(jié)目進(jìn)入到了互動(dòng)的環(huán)節(jié)，節(jié)目需要選出在線觀看的一位觀眾參與到互動(dòng)中;在線觀看直播的用戶申請(qǐng)參與互動(dòng);主持人同意用戶的申請(qǐng)，這時(shí)用戶與主持人實(shí)時(shí)進(jìn)行音視頻交互，交互過程直播給所有其他觀眾。

　　3.基于視頻內(nèi)容的互動(dòng)

　　之前提到的互動(dòng)方式都是獨(dú)立于視頻的單獨(dú)的交互系統(tǒng)，基于內(nèi)容本身的交互更能吸引用戶的參與。例如在直播美妝的過程中，當(dāng)某一個(gè)品牌的化妝品出現(xiàn)后，同時(shí)彈出此化妝品相關(guān)的介紹和購買鏈接，對(duì)此化妝品感興趣的用戶可以立刻進(jìn)行購買。這種交互的實(shí)現(xiàn)原理就是在流媒體中嵌入附加信息，

　　為了保證用戶觀看時(shí)附加信息能夠與畫面進(jìn)行嚴(yán)格的同步，這種附加信息最好嵌入在流媒體中(可以在視頻編碼或者流媒體協(xié)議封裝環(huán)節(jié))，而不是通過消息通道通知到觀看端，因?yàn)槊總�(gè)觀看端的進(jìn)度不一樣，很容易出現(xiàn)不同步的情況。

　　用戶可以根據(jù)直播場(chǎng)景的不同，選擇以上幾種交互方式，從而讓直播體驗(yàn)更加完美。

　　CSDN：在移動(dòng)直播過程中遇到過哪些坑及如何優(yōu)化?

　　郝飛：移動(dòng)直播開發(fā)中，經(jīng)常會(huì)碰到以下幾類問題：

　　1.系統(tǒng)延遲大，特別是累積延遲高，播放時(shí)間越長，延遲越大

　　影響延遲的環(huán)節(jié)包括音視頻預(yù)處理，編碼，CDN分發(fā)，拉流，解碼等;其中預(yù)處理，編碼和解碼引入的延遲與設(shè)備硬件相關(guān)，可以通過提升設(shè)備性能優(yōu)化。而CDN分發(fā)和拉流所引入的延遲則是網(wǎng)絡(luò)環(huán)境決定的，CDN轉(zhuǎn)發(fā)的節(jié)點(diǎn)越多，則延遲越大;播放端與CDN節(jié)點(diǎn)之間的出現(xiàn)丟包，網(wǎng)絡(luò)抖動(dòng)等，也會(huì)導(dǎo)致延遲增加。針對(duì)于累積延遲，播放端可以采用動(dòng)態(tài)追幀的方法，在盡量不影響視頻質(zhì)量的前提下進(jìn)行丟幀處理;同理，主播端如果發(fā)現(xiàn)也有視頻幀累積的現(xiàn)象，也可以考慮丟幀處理，前提也是盡量不要影響視頻質(zhì)量。

　　2.播放出現(xiàn)卡頓情況，影響用戶體驗(yàn)

　　視頻的卡頓主要是客戶端和CDN之間的網(wǎng)絡(luò)環(huán)境導(dǎo)致的。如果主播端上行網(wǎng)絡(luò)環(huán)境不好，則所有觀看端都會(huì)受影響，可以考慮通過減少幀率或者動(dòng)態(tài)調(diào)節(jié)碼率的方式保證主播端推流穩(wěn)定;如果CDN的某個(gè)分發(fā)節(jié)點(diǎn)出現(xiàn)問題，則路由到此節(jié)點(diǎn)下的所有客戶端都會(huì)觀看都會(huì)受到影響;這種情況可以通過采用第三方監(jiān)控，或者收集客戶端卡頓報(bào)告的方式盡早發(fā)現(xiàn)并修復(fù);如果某個(gè)客戶端的網(wǎng)絡(luò)環(huán)境不好，則主要影響此用戶觀看體驗(yàn)，一般的視頻流在服務(wù)端都會(huì)轉(zhuǎn)成不同碼率的幾路視頻，播放端可以動(dòng)態(tài)的切換到低碼率，從而保證觀看的流暢性。

　　3.視頻啟動(dòng)慢，用戶體驗(yàn)差

　　播放啟動(dòng)慢會(huì)嚴(yán)重影響用戶體驗(yàn);解決辦法可以參考以上提到的秒開的實(shí)現(xiàn)。

　　4.Android機(jī)器適配不夠，出現(xiàn)崩潰，閃退等現(xiàn)象

　　Android 機(jī)型比較多，各種品牌機(jī)器的硬件參差不齊，同時(shí)，直播還會(huì)使用到硬件編解碼，而這些硬件特性也依據(jù)Android的版本和機(jī)器的不同而各有差異。 因此，建議大家在選擇直播SDK的時(shí)候，盡量選用被廣泛使用的，能夠提供現(xiàn)有手機(jī)適配列表的版本，這類SDK已經(jīng)經(jīng)過市場(chǎng)證明，出現(xiàn)崩潰和閃退的概率會(huì)低很多。

　　5.主播手機(jī)發(fā)燙，畫面卡頓，特別是增加美顏特性后

　　直播涉及到音視頻預(yù)處理，編碼，特別是美顏功能等耗CPU資源的操作，因此會(huì)出現(xiàn)手機(jī)發(fā)燙等情況，特別是低端的手機(jī)。 建議主播端盡量采用高端些的手機(jī)，這些手機(jī)不僅僅是CPU能力強(qiáng)，同時(shí)還支持硬件的編解碼功能，可以大大降低手機(jī)的功耗。同時(shí)，美顏實(shí)現(xiàn)的不同對(duì)于發(fā)熱的減少也很有幫助，具體可以參考上面的美顏介紹。

　　CSDN:您覺得直播技術(shù)的入門門檻高嗎?

　　郝飛：如果是在應(yīng)用中嵌入直播功能，僅從應(yīng)用的角度理解直播的流程，這個(gè)技術(shù)門檻并不高，一般的應(yīng)用開發(fā)者，通過調(diào)用直播平臺(tái)的接口就可以很快速的把直播功能嵌入到系統(tǒng)中了。

　　CSDN:關(guān)于技術(shù)學(xué)習(xí)您有什么心得?我們上線了知識(shí)庫系統(tǒng)化學(xué)習(xí)的方法，您會(huì)怎么應(yīng)用呢?

　　郝飛：總的來說，技術(shù)學(xué)習(xí)應(yīng)該從深度和廣度兩方面來不斷加強(qiáng)。技術(shù)的細(xì)分領(lǐng)域很多，任何人都不可能精通所有技術(shù)，所以首先要根據(jù)自己的實(shí)際情況確定一個(gè)技術(shù)方向，然后通過看書，網(wǎng)上找資料，實(shí)際工作中的項(xiàng)目等方式來建立起自己在這個(gè)領(lǐng)域的知識(shí)結(jié)構(gòu)圖。在這個(gè)過程中，你會(huì)發(fā)現(xiàn)有些學(xué)到的知識(shí)在實(shí)際工作中使用不到，那這部分就僅僅停留在理論層面，沒有充分了解和吸收，這時(shí)候可以考慮參與相關(guān)的開源項(xiàng)目并進(jìn)行知識(shí)總結(jié)分享。通過這樣的方式與更多的開發(fā)者互動(dòng)起來，對(duì)自己的知識(shí)結(jié)構(gòu)可以起到重構(gòu)和完善的作用，到了一定程度后，對(duì)于如何學(xué)習(xí)，學(xué)習(xí)什么這些問題你就有自己的答案了。當(dāng)某一個(gè)領(lǐng)域研究的比較深入后，可以橫向擴(kuò)展一下，把與這個(gè)領(lǐng)域相關(guān)的其他知識(shí)也涉獵一下，這樣你會(huì)對(duì)整體流程的把握更加清晰，會(huì)從更全面的視角審視你開發(fā)的系統(tǒng)。

　　親加視頻直播交流群：114834361，致力于幫助企業(yè)開發(fā)者快速進(jìn)入“直播+”大時(shí)代。