讓程序猿安心過大年，解密騰訊云SDN網(wǎng)絡(luò)流量調(diào)度

　　轉(zhuǎn)眼又到春節(jié)，又到了親朋好友大團(tuán)圓的時刻。對程序猿和攻城獅來說，能否安安穩(wěn)穩(wěn)的過年就主要取決于網(wǎng)絡(luò)是否安穩(wěn)了，誰都不想在合家團(tuán)圓吃年夜飯的時候因為網(wǎng)絡(luò)故障加班。不過，過去這一年各種網(wǎng)絡(luò)卻是故障不斷：

　　2016年9月，廣東電信光纜中斷導(dǎo)致A服務(wù)商BGP網(wǎng)絡(luò)鏈路異常，部分地區(qū)無法訪問;

　　2016年10月17日，北京電信骨干網(wǎng)故障導(dǎo)致A、U等多家服務(wù)商BGP網(wǎng)絡(luò)異常，部分地區(qū)無法訪問;

　　2017年1月，架空光纜撞斷，斷導(dǎo)致U服務(wù)商BGP網(wǎng)絡(luò)服務(wù)中斷...

　　BGP網(wǎng)絡(luò)故障給云計算客戶帶來了巨大損失，而大部分服務(wù)中斷，都被公有云服務(wù)商解釋為運(yùn)營商網(wǎng)絡(luò)故障導(dǎo)致公有云停服。雖然運(yùn)營商對網(wǎng)絡(luò)故障中斷負(fù)有直接責(zé)任，但是公有云的網(wǎng)絡(luò)服務(wù)能力只能做到這樣了嗎?

　　當(dāng)然不是。

　　其實不僅是網(wǎng)絡(luò)故障，據(jù)統(tǒng)計，全國范圍內(nèi)三大運(yùn)營商每周會出現(xiàn)3~7次的核心網(wǎng)絡(luò)變更，每次網(wǎng)絡(luò)變更都可能對BGP網(wǎng)絡(luò)質(zhì)量造成影響。傳統(tǒng)IDC服務(wù)商和云計算服務(wù)商通過同地域BGP出口做跨運(yùn)營商的網(wǎng)絡(luò)流量調(diào)度，一定程度上解決服務(wù)中斷的問題，但一旦網(wǎng)絡(luò)故障、變更發(fā)生在業(yè)務(wù)高峰，還是會出現(xiàn)跨運(yùn)營商互聯(lián)帶寬飽和導(dǎo)致的BGP網(wǎng)絡(luò)時延、丟包無法控制的問題。

　　騰訊云依托15年的BGP網(wǎng)絡(luò)運(yùn)營經(jīng)驗，精打細(xì)磨，在面臨國內(nèi)交叉復(fù)雜的網(wǎng)絡(luò)環(huán)境中，修煉出一身基于SDN(軟件定義網(wǎng)絡(luò)，Software Defined Network)的跨地域網(wǎng)絡(luò)調(diào)度能力，保障了包括微信、QQ在內(nèi)的億萬用戶良好的互聯(lián)網(wǎng)通信體驗，今天小編將為您一一揭秘這個隱藏在騰訊云穩(wěn)定網(wǎng)絡(luò)背后的神奇武功!

　　所謂天下武學(xué)神功，修煉之前要求基本功扎實�；�本功沒有練好，直接上神功經(jīng)常會導(dǎo)致走火入魔，最終自取滅亡(比如，把光纖架在空中就是基本功不扎實的一種體現(xiàn))。在修煉SDN網(wǎng)絡(luò)調(diào)度這門高級武功之前，我們已經(jīng)用了10年時間，做好了以下幾項基本工作。

　　基本功1：Tb級BGP網(wǎng)絡(luò)出口，21路運(yùn)營商聚合

　　所謂巧婦難為無米之炊，沒有BGP出口就不要做公有云。騰訊云在全國各個地域擁有Tb級的BGP網(wǎng)絡(luò)出口帶寬，聚合21路運(yùn)營商接入資源，保障了用戶即使面對微信春節(jié)紅包這樣500Gbps入流量的洶涌攻勢，也可以從容應(yīng)對，絕不抖動。

　　基本功2：Tb級骨干承載網(wǎng)，連接全球BGP網(wǎng)絡(luò)出口

　　沒有連接的BGP帶寬出口，好像戰(zhàn)場上被分割的孤島，一方有難就有難了，沒有相互支援。騰訊云Tb級骨干承載網(wǎng)，連通了騰訊云在國內(nèi)的各大BGP網(wǎng)絡(luò)出口，各個地域互為POP點(diǎn)在單地域故障時可以實現(xiàn)流量切換。

　　基本功3：多維網(wǎng)絡(luò)監(jiān)控模型，全局網(wǎng)絡(luò)監(jiān)控告警

　　一方面，騰訊云具備面向全國的網(wǎng)絡(luò)撥測和自動化告警，從網(wǎng)絡(luò)層面感知網(wǎng)絡(luò)運(yùn)營情況;另一方面，基于騰訊云具備獨(dú)家的騰訊產(chǎn)品自身網(wǎng)絡(luò)連接質(zhì)量的統(tǒng)計信息，可以快速定向判斷全球網(wǎng)絡(luò)點(diǎn)對點(diǎn)的網(wǎng)絡(luò)質(zhì)量，先于網(wǎng)絡(luò)層感知網(wǎng)絡(luò)異常，快速定位問題。

　　修煉好以上三門基本功，基本可以開始乾坤大挪移——基于SDN網(wǎng)絡(luò)調(diào)度的內(nèi)功修煉了。

　　在啟用SDN網(wǎng)絡(luò)調(diào)度之前，騰訊云已經(jīng)具備了基本的BGP流量調(diào)度能力，當(dāng)某地域單運(yùn)營商故障或變更時，可以通過人工配置的方式將路由切換至相鄰的BGP網(wǎng)絡(luò)出口。

　　以騰訊云上海為例，如果上海-福建的電信網(wǎng)絡(luò)鏈路變更，我們就可以提前進(jìn)行網(wǎng)絡(luò)變更，停止上海的BGP接入路由器發(fā)放騰訊云路由。所有訪問上海的用戶流量會通過廣州或北京的BGP流量入口繞行至騰訊云骨干承載網(wǎng)，再回到上海公有云。

　　這樣雖然幫助客戶規(guī)避了運(yùn)營商變更時，上海公有云覆蓋福建的網(wǎng)絡(luò)中斷，但同時也導(dǎo)致了浙江、江蘇等鄰近上海的用戶繞行至廣州或北京帶來了網(wǎng)絡(luò)時延增加。

　　為了解決這個問題，我們通過SDN網(wǎng)絡(luò)架構(gòu)設(shè)計實現(xiàn)了按省份的精細(xì)化BGP路由調(diào)度管理：如果是上海到福建的BGP網(wǎng)絡(luò)中斷，那么我們就只把福建訪問上海的流量切換至北京和廣州，其他正常省份的流量依舊直接訪問上海，從而解決了上面時延增加的問題。

　　如上圖所示，我們采用全局的SDN網(wǎng)絡(luò)控制器連接全地域BGP接入路由器。網(wǎng)絡(luò)管理平面一方面接收全局的網(wǎng)絡(luò)監(jiān)控告警，獲得全地域的網(wǎng)絡(luò)資源和告警信息;一方面通過SDN控制器，向全國范圍內(nèi)的接入路由器下發(fā)按需的路由和選路控制。

　　系統(tǒng)可以預(yù)設(shè)網(wǎng)絡(luò)優(yōu)化算法，為不同選項(包括ISP優(yōu)選、本地優(yōu)先、區(qū)域優(yōu)先、AS PATH最短優(yōu)先、網(wǎng)絡(luò)資源使用率、網(wǎng)絡(luò)時延優(yōu)化等)賦予不同權(quán)重求和給出最優(yōu)配置方案，推送人工進(jìn)行審核，人工審核通過后即可自動化下發(fā)網(wǎng)絡(luò)調(diào)度命令，支持包含主機(jī)、網(wǎng)段、區(qū)域、AS號、運(yùn)營商等多維度的調(diào)度策略。

　　SDN網(wǎng)絡(luò)控制器采用異地容災(zāi)部署，通過公司骨干承載網(wǎng)互聯(lián)，支持HA(High availability)以及ISSU(In-Service Software Upgrade)。所有基于ODL控制器的BGP流量切換都是秒級操作，保證切換操作中用戶連接不中斷，實現(xiàn)精細(xì)化的按需的無感知的網(wǎng)絡(luò)運(yùn)維。

　　目前現(xiàn)網(wǎng)運(yùn)行的SDN網(wǎng)絡(luò)調(diào)度功能每月調(diào)度30次以上，平均每次調(diào)度時間2.5小時，幫助用戶每月規(guī)避網(wǎng)絡(luò)異常超70小時以上，大幅提升了騰訊云公網(wǎng)BGP質(zhì)量。騰訊云將持續(xù)優(yōu)化網(wǎng)絡(luò)架構(gòu)和SDN網(wǎng)絡(luò)調(diào)度策略，為用戶提供穩(wěn)定、可靠的、無感知的BPG網(wǎng)絡(luò)服務(wù)。