騰訊云11.11：十分鐘內(nèi)完成彈性伸縮，流量清洗化解DDoS攻擊

 　　一年一度的雙十一狂歡節(jié)已經(jīng)來臨，這個(gè)特殊的節(jié)日因?yàn)殡娚虃兊募�體瘋狂促銷而被賦予了特殊的含義。從往年的數(shù)據(jù)來看，雙十一當(dāng)天各家平臺(tái)的成交額和成交量都是在創(chuàng)造著各種數(shù)字奇跡，并且每年都保持高速增長(zhǎng)。

　　驚人的數(shù)據(jù)背后也有著不可想象的挑戰(zhàn)，特別是在零點(diǎn)之后的幾分鐘內(nèi)，數(shù)千萬的用戶在同一時(shí)間進(jìn)行著同樣的購(gòu)物流程，搜索、查看詳情、下單、支付等等的每一個(gè)環(huán)節(jié)都需要保證高并發(fā)下的高可用性，擴(kuò)容、冗余、多活、降級(jí)、防DDos等等的技術(shù)都需要滲入到相關(guān)的平臺(tái)架構(gòu)中。

　　而對(duì)于雙十一這樣的高并發(fā)訪問場(chǎng)景，很多中小型電商并不具備相對(duì)應(yīng)的運(yùn)維能力，所以他們開始借助專業(yè)的云服務(wù)商來解決這些棘手的問題。這其中，騰訊云就為用戶提供了11.11電商解決方案，核心能力包括彈性擴(kuò)容、抵御刷單等，蘑菇街、聚美優(yōu)品、當(dāng)當(dāng)、有貨、唯品會(huì)、小紅書、楚楚街等知名電商平臺(tái)都基于他們的云服務(wù)構(gòu)建了自己的業(yè)務(wù)架構(gòu)。為了了解騰訊云電商解決方案的技術(shù)細(xì)節(jié)，InfoQ記者采訪了其資深架構(gòu)師羅志。

　　電商架構(gòu)

　　每家電商都有自己各自的業(yè)務(wù)特色和技術(shù)棧，具體落實(shí)的架構(gòu)不盡相同;但是在我看來，有一些規(guī)律可以遵循，這里對(duì)不同的電商架構(gòu)情況進(jìn)行下分類介紹。各電商業(yè)務(wù)的架構(gòu)一般比較類似，都是4層架構(gòu)，即接入層、邏輯層、cache層和數(shù)據(jù)庫層。

　　近年來，隨著搶購(gòu)、秒殺的興起，要求電商后臺(tái)需要能夠有集中時(shí)間內(nèi)應(yīng)對(duì)大請(qǐng)求量的處理能力，因此，在對(duì)接入層、邏輯層的按需、實(shí)時(shí)、快速平行擴(kuò)展能力就提出了較高的要求。同時(shí)由于國(guó)內(nèi)日漸猖獗的羊毛黨黑產(chǎn)的泛濫，因此電商業(yè)務(wù)對(duì)騰訊云的基于大數(shù)據(jù)的惡意用戶識(shí)別——天御系統(tǒng)，也有了越來越多的需求。

　　在考慮電商業(yè)務(wù)架構(gòu)的時(shí)候，以接入層為例，在以往非云架構(gòu)時(shí)，業(yè)務(wù)往往只會(huì)選擇一個(gè)接入中心，雖然有BGP的接入，但畢竟受限于物理距離，故對(duì)距離接入中心較遠(yuǎn)的地區(qū)的覆蓋，依然是存在不足的，這個(gè)問題在移動(dòng)端APP訪問時(shí)，變得尤為突出。因此在這里，建議更多的考慮如何復(fù)用公有云在全國(guó)各可用區(qū)間強(qiáng)大的內(nèi)網(wǎng)專線能力，通過反向代理等技術(shù)，實(shí)現(xiàn)全國(guó)多接入中心的接入能力。

　　但若按業(yè)務(wù)架構(gòu)的物理部署而言，又可以大致分為傳統(tǒng)和新興電商兩類。其中傳統(tǒng)電商，在初創(chuàng)時(shí)即使用自有IDC，故僅在公有云上部署其接入、邏輯、cache層，充分復(fù)用公有云的BGP接入及彈性的能力，同時(shí)又以專線將騰訊云與其私有IDC數(shù)據(jù)中心連接成為混合云。

　　而以小紅書為代表的新興電商，由于其是完全在騰訊云上成長(zhǎng)起來的業(yè)務(wù)架構(gòu)，故會(huì)將全部業(yè)務(wù)架構(gòu)部署在云端，充分享受云帶給其的低運(yùn)維成本和低架構(gòu)成本，而將全部重心投入在業(yè)務(wù)發(fā)展上。

　　如果某家電商客戶同時(shí)采用了其他家的云服務(wù)或者自由IDC，那么我認(rèn)為混合云是一個(gè)比較好的發(fā)展方向，無論是雙云混合還是自有IDC+云。如果是雙云架構(gòu)，建議以雙云容災(zāi)，一個(gè)為主一個(gè)為備作為主要的考慮方向。而如果是構(gòu)建混合云，則以充分利用云的彈性及BGP+多地接入節(jié)點(diǎn)作為主要的考慮方向。

　　怎樣做到彈性伸縮

　　彈性伸縮(Auto Scaling)根據(jù)業(yè)務(wù)需求和策略，自動(dòng)調(diào)整計(jì)算資源�？筛鶕�(jù)定時(shí)、周期或監(jiān)控策略，恰到好處地增加或減少 CVM 實(shí)例，并完成配置，保證業(yè)務(wù)平穩(wěn)健康運(yùn)行。

　　騰訊云目前的彈性伸縮請(qǐng)求響應(yīng)時(shí)間是5-10分鐘，擴(kuò)容時(shí)間視客戶鏡像大小而定，一般10分鐘以內(nèi)。同時(shí)并發(fā)擴(kuò)容數(shù)，無限制。我們的實(shí)現(xiàn)是基于業(yè)務(wù)無狀態(tài)層的，可自定義策略的彈性伸縮能力。

　　整體架構(gòu)如下圖：

　　這里可以舉一個(gè)我們的客戶案例進(jìn)行分享，江蘇盛瑞面臨的挑戰(zhàn)有三點(diǎn)：

　　動(dòng)輒需要數(shù)千臺(tái)規(guī)模的擴(kuò)容，需要穩(wěn)定、海量資源的后臺(tái)過去需要2個(gè)以上運(yùn)維人員晚上加班手工擴(kuò)容，耗時(shí)大半天，費(fèi)事費(fèi)力機(jī)器數(shù)量巨大，希望找到計(jì)費(fèi)更精確的云平臺(tái)，節(jié)省費(fèi)用

　　經(jīng)過我們的努力最終實(shí)現(xiàn)了2.5小時(shí)完成兩次自動(dòng)擴(kuò)容，共擴(kuò)充接近3000臺(tái)高配服務(wù)器，此后又完成自動(dòng)縮容;全程零故障，零人工參與，順利度過高峰。

　　盡可能地周全監(jiān)控服務(wù)

　　對(duì)于監(jiān)控，我們會(huì)考慮到云服務(wù)器CPU利用率、內(nèi)存利用率、磁盤利用率以及云數(shù)據(jù)庫、Memcached高速存儲(chǔ)等各項(xiàng)云服務(wù)負(fù)載和性能指標(biāo)，通過直觀圖表展示出來。

　　在設(shè)計(jì)和實(shí)現(xiàn)監(jiān)控時(shí)，我們考慮到了需要支持配置多種指標(biāo)的告警觸發(fā)閾值，每個(gè)策略可關(guān)聯(lián)不同云產(chǎn)品。設(shè)為默認(rèn)告警策略后，自動(dòng)關(guān)聯(lián)該策略，然后還支持自定義告警接收人和發(fā)送渠道。關(guān)于自定義告警通道服務(wù)，我們預(yù)留了告警上報(bào)接口，客戶可以自己通過監(jiān)控腳本產(chǎn)生自定義的告警，通過告警上報(bào)接口，即可將告警內(nèi)容上報(bào)給云監(jiān)控，平臺(tái)會(huì)及時(shí)推送給客戶。

　　同時(shí)，不單是監(jiān)控，云API幾乎覆蓋所有可以以 API 方式對(duì)外提供服務(wù)的云產(chǎn)品并持續(xù)迭代。新產(chǎn)品上線時(shí)均同步推出對(duì)應(yīng)API。所有接口均以 https 方式對(duì)外提供，并通過簽名機(jī)制對(duì)調(diào)用者身份進(jìn)行鑒權(quán)，充分保證 API 請(qǐng)求的安全性和合法性。在調(diào)試上，騰訊云提供了云 API 的調(diào)試工具，方便開發(fā)者快速調(diào)試 API 接口，并提供了豐富的代碼示例共開發(fā)和參考。

　　電商業(yè)務(wù)離不開圖片處理

　　作為電商，圖片支持需求是繞不過去的;對(duì)應(yīng)到技術(shù)上，需要對(duì)商品圖片進(jìn)行存儲(chǔ)和識(shí)別。這里重點(diǎn)談?wù)勎覀兊膱D片內(nèi)容識(shí)別技術(shù)：DeepEye內(nèi)容識(shí)別引擎。

　　DeepEye是由SNG優(yōu)圖實(shí)驗(yàn)室、TEG信息安全部聯(lián)合研發(fā)的圖像識(shí)別引擎，基于海量數(shù)據(jù)與深度學(xué)習(xí)技術(shù)研發(fā)，旨在打造百億處理級(jí)別的高可用、高準(zhǔn)確圖片內(nèi)容檢測(cè)識(shí)別系統(tǒng)，對(duì)行業(yè)內(nèi)各大產(chǎn)品UGC圖片/視頻類數(shù)據(jù)進(jìn)行主動(dòng)色情檢測(cè)，改變了信息安全領(lǐng)域依賴人工發(fā)現(xiàn)惡意內(nèi)容的模式，升級(jí)為機(jī)器自動(dòng)發(fā)現(xiàn)+人工輔助的AI模式;

　　DeepEye技術(shù)在鑒黃上的精度達(dá)到99.95%，在多次業(yè)務(wù)評(píng)測(cè)中保持業(yè)界領(lǐng)先;在騰訊公司內(nèi)部已接入包括Qzone、頭像、Q群、朋友圈等絕大部分圖片與視頻業(yè)務(wù)，極大降低了業(yè)務(wù)監(jiān)管風(fēng)險(xiǎn);并聯(lián)合騰訊云搭建了萬象鑒黃、天御等品牌向公司外部客戶提供多媒體內(nèi)容檢測(cè)服務(wù)，迄今接入了包括快手、大眾點(diǎn)評(píng)、京東、大智慧、斗魚等數(shù)十家領(lǐng)域內(nèi)標(biāo)桿公司，極大程度上解決了人力審核上的痛點(diǎn)并獲得了好評(píng)。

　　這里不得不重點(diǎn)提一下DeepEye技術(shù)的創(chuàng)始團(tuán)隊(duì)：SNG優(yōu)圖實(shí)驗(yàn)室，這支人工智能團(tuán)隊(duì)是騰訊公司布局前沿技術(shù)的一張王牌。從2012年成立至今，優(yōu)圖團(tuán)隊(duì)從寥寥數(shù)人已成長(zhǎng)為具備近百人規(guī)模的算法研發(fā)團(tuán)隊(duì)，并于今年從原有社交平臺(tái)部架構(gòu)中獨(dú)立出來，成立了優(yōu)圖實(shí)驗(yàn)室，專門從事機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、音頻分析等人工智能領(lǐng)域前沿科技的研發(fā)與產(chǎn)品落地。其實(shí)除了圖像內(nèi)容識(shí)別方面的能力，該團(tuán)隊(duì)的人臉識(shí)別、聲紋識(shí)別等能力在國(guó)際比賽中創(chuàng)造了世界紀(jì)錄。

　　越來越受到重視的安全技術(shù)

　　電商常見的三種困擾：惡意刷單、域名劫持、DDos攻擊，這里和大家分享其中兩個(gè)。

　　處理惡意刷單需要積累惡意用戶庫、有效判定、處理執(zhí)行。惡意用戶的積累需要長(zhǎng)久作戰(zhàn)，收集IMEI、QQ、微信、手機(jī)號(hào)碼、身份證號(hào)、IP等全方位的信息;需要基于大數(shù)據(jù)做到一處作惡、多處識(shí)別。

　　關(guān)于DDoS攻擊的處理，我想談?wù)勫N子科技的這個(gè)案例。2015年錘子堅(jiān)果手機(jī)發(fā)布會(huì)，遭到攻擊導(dǎo)致直播暫時(shí)，高達(dá)數(shù)十G的量攻擊，錘子商城一度面臨全面癱瘓風(fēng)險(xiǎn)。

　　此時(shí)騰訊云介入，在錘子官網(wǎng)域名的DNS配置里面加一條CNAME，將相應(yīng)域名解析到大禹，CNAME功能會(huì)把用戶流量的請(qǐng)求先路由到大禹的加速點(diǎn)，然后由大禹的加速點(diǎn)清洗、過濾，再吐回到原站，順利化解了攻擊。

　　從啟動(dòng)預(yù)案，接入客戶網(wǎng)站，到啟動(dòng)清洗，13分鐘內(nèi)一氣呵成，數(shù)十G的攻擊流量均被大禹系統(tǒng)成功清洗，讓錘子科技官網(wǎng)恢復(fù)正常，保證了現(xiàn)場(chǎng)發(fā)布會(huì)召開后274萬在線用戶的順暢觀看。

　　未來展望

　　又是一年電商狂歡時(shí)，能做的還有更多，更多的騰訊能力不斷的跟廣大云計(jì)算用戶的需求相適應(yīng)，結(jié)合電商我們可以做的更多，電商正在面臨的轉(zhuǎn)型問題和最新行業(yè)發(fā)展趨勢(shì)，騰訊云電商解決方案還提供多樣化的產(chǎn)品與服務(wù)。

　　例如，許多電商正在嘗試的“直播”模式，騰訊云的視頻解決方案能夠提供全方位、立體化的技術(shù)支持，支持直播應(yīng)用在24小時(shí)內(nèi)完成快速對(duì)接，擁有完整的直播能力，實(shí)現(xiàn)穩(wěn)定的用戶體驗(yàn)，這將為更多電商平臺(tái)嘗試“直播+電商”模式提供更多可能性。

　　而在人工智能層面，騰訊云基于騰訊18年的社交大數(shù)據(jù)經(jīng)驗(yàn)提供準(zhǔn)確的圖片識(shí)別能力，可對(duì)不良內(nèi)容進(jìn)行準(zhǔn)確甄別，識(shí)別精確度達(dá)99.95%，節(jié)省用戶95%的人力;同時(shí)，騰訊云提供智能語音服務(wù)，日核查語音時(shí)長(zhǎng)提升31倍，服務(wù)滿意度提升23%，從資源設(shè)備到人力成本全面實(shí)現(xiàn)優(yōu)化。

　　使用騰訊云智能語音服務(wù)后，珍愛網(wǎng)語音質(zhì)檢業(yè)務(wù)的覆蓋率從3%提升到了100%，質(zhì)檢效率提升31倍。與傳統(tǒng)人工方式相比，同樣數(shù)量的通話錄音，質(zhì)檢成本僅為原來的10%。

　　作者介紹

　　羅志，騰訊云資深架構(gòu)師。 2005年加入騰訊，先后在騰訊集團(tuán)內(nèi)負(fù)責(zé)過系統(tǒng)運(yùn)維、DBA、游戲運(yùn)維、游戲運(yùn)營(yíng)規(guī)劃、騰訊云售前架構(gòu)師團(tuán)隊(duì)。目前主要致力于幫助合作伙伴評(píng)估、規(guī)劃、重構(gòu)系統(tǒng)架構(gòu)，建立滿足其業(yè)務(wù)未來至少2-3年發(fā)展需要的云端架構(gòu)整體解決方案。

　　今年11.11大幕已拉開，狂歡背后，提供保障服務(wù)的技術(shù)平臺(tái)更值得關(guān)注。騰訊云在此次11.11為蘑菇街、聚美優(yōu)品、當(dāng)當(dāng)、有貨、唯品會(huì)、小紅書、楚楚街等知名電商平臺(tái)提供了電商解決方案，在架構(gòu)部署、彈性伸縮、監(jiān)控服務(wù)、圖片處理和安全防范方面做了重點(diǎn)完善。體驗(yàn)騰訊云的核心技術(shù)服務(wù)，到官網(wǎng)注冊(cè)試用，只需兩步!