騰訊云11.11：十分鐘內(nèi)完成彈性伸縮，流量清洗化解DDoS攻擊

 　　一年一度的雙十一狂歡節(jié)已經(jīng)來臨，這個特殊的節(jié)日因為電商們的集體瘋狂促銷而被賦予了特殊的含義。從往年的數(shù)據(jù)來看，雙十一當(dāng)天各家平臺的成交額和成交量都是在創(chuàng)造著各種數(shù)字奇跡，并且每年都保持高速增長。

　　驚人的數(shù)據(jù)背后也有著不可想象的挑戰(zhàn)，特別是在零點之后的幾分鐘內(nèi)，數(shù)千萬的用戶在同一時間進行著同樣的購物流程，搜索、查看詳情、下單、支付等等的每一個環(huán)節(jié)都需要保證高并發(fā)下的高可用性，擴容、冗余、多活、降級、防DDos等等的技術(shù)都需要滲入到相關(guān)的平臺架構(gòu)中。

　　而對于雙十一這樣的高并發(fā)訪問場景，很多中小型電商并不具備相對應(yīng)的運維能力，所以他們開始借助專業(yè)的云服務(wù)商來解決這些棘手的問題。這其中，騰訊云就為用戶提供了11.11電商解決方案，核心能力包括彈性擴容、抵御刷單等，蘑菇街、聚美優(yōu)品、當(dāng)當(dāng)、有貨、唯品會、小紅書、楚楚街等知名電商平臺都基于他們的云服務(wù)構(gòu)建了自己的業(yè)務(wù)架構(gòu)。為了了解騰訊云電商解決方案的技術(shù)細節(jié)，InfoQ記者采訪了其資深架構(gòu)師羅志。

　　電商架構(gòu)

　　每家電商都有自己各自的業(yè)務(wù)特色和技術(shù)棧，具體落實的架構(gòu)不盡相同;但是在我看來，有一些規(guī)律可以遵循，這里對不同的電商架構(gòu)情況進行下分類介紹。各電商業(yè)務(wù)的架構(gòu)一般比較類似，都是4層架構(gòu)，即接入層、邏輯層、cache層和數(shù)據(jù)庫層。

　　近年來，隨著搶購、秒殺的興起，要求電商后臺需要能夠有集中時間內(nèi)應(yīng)對大請求量的處理能力，因此，在對接入層、邏輯層的按需、實時、快速平行擴展能力就提出了較高的要求。同時由于國內(nèi)日漸猖獗的羊毛黨黑產(chǎn)的泛濫，因此電商業(yè)務(wù)對騰訊云的基于大數(shù)據(jù)的惡意用戶識別——天御系統(tǒng)，也有了越來越多的需求。

　　在考慮電商業(yè)務(wù)架構(gòu)的時候，以接入層為例，在以往非云架構(gòu)時，業(yè)務(wù)往往只會選擇一個接入中心，雖然有BGP的接入，但畢竟受限于物理距離，故對距離接入中心較遠的地區(qū)的覆蓋，依然是存在不足的，這個問題在移動端APP訪問時，變得尤為突出。因此在這里，建議更多的考慮如何復(fù)用公有云在全國各可用區(qū)間強大的內(nèi)網(wǎng)專線能力，通過反向代理等技術(shù)，實現(xiàn)全國多接入中心的接入能力。

　　但若按業(yè)務(wù)架構(gòu)的物理部署而言，又可以大致分為傳統(tǒng)和新興電商兩類。其中傳統(tǒng)電商，在初創(chuàng)時即使用自有IDC，故僅在公有云上部署其接入、邏輯、cache層，充分復(fù)用公有云的BGP接入及彈性的能力，同時又以專線將騰訊云與其私有IDC數(shù)據(jù)中心連接成為混合云。

　　而以小紅書為代表的新興電商，由于其是完全在騰訊云上成長起來的業(yè)務(wù)架構(gòu)，故會將全部業(yè)務(wù)架構(gòu)部署在云端，充分享受云帶給其的低運維成本和低架構(gòu)成本，而將全部重心投入在業(yè)務(wù)發(fā)展上。

　　如果某家電商客戶同時采用了其他家的云服務(wù)或者自由IDC，那么我認為混合云是一個比較好的發(fā)展方向，無論是雙云混合還是自有IDC+云。如果是雙云架構(gòu)，建議以雙云容災(zāi)，一個為主一個為備作為主要的考慮方向。而如果是構(gòu)建混合云，則以充分利用云的彈性及BGP+多地接入節(jié)點作為主要的考慮方向。

　　怎樣做到彈性伸縮

　　彈性伸縮(Auto Scaling)根據(jù)業(yè)務(wù)需求和策略，自動調(diào)整計算資源。可根據(jù)定時、周期或監(jiān)控策略，恰到好處地增加或減少 CVM 實例，并完成配置，保證業(yè)務(wù)平穩(wěn)健康運行。

　　騰訊云目前的彈性伸縮請求響應(yīng)時間是5-10分鐘，擴容時間視客戶鏡像大小而定，一般10分鐘以內(nèi)。同時并發(fā)擴容數(shù)，無限制。我們的實現(xiàn)是基于業(yè)務(wù)無狀態(tài)層的，可自定義策略的彈性伸縮能力。

　　整體架構(gòu)如下圖：

　　這里可以舉一個我們的客戶案例進行分享，江蘇盛瑞面臨的挑戰(zhàn)有三點：

　　動輒需要數(shù)千臺規(guī)模的擴容，需要穩(wěn)定、海量資源的后臺過去需要2個以上運維人員晚上加班手工擴容，耗時大半天，費事費力機器數(shù)量巨大，希望找到計費更精確的云平臺，節(jié)省費用

　　經(jīng)過我們的努力最終實現(xiàn)了2.5小時完成兩次自動擴容，共擴充接近3000臺高配服務(wù)器，此后又完成自動縮容;全程零故障，零人工參與，順利度過高峰。

　　盡可能地周全監(jiān)控服務(wù)

　　對于監(jiān)控，我們會考慮到云服務(wù)器CPU利用率、內(nèi)存利用率、磁盤利用率以及云數(shù)據(jù)庫、Memcached高速存儲等各項云服務(wù)負載和性能指標(biāo)，通過直觀圖表展示出來。

　　在設(shè)計和實現(xiàn)監(jiān)控時，我們考慮到了需要支持配置多種指標(biāo)的告警觸發(fā)閾值，每個策略可關(guān)聯(lián)不同云產(chǎn)品。設(shè)為默認告警策略后，自動關(guān)聯(lián)該策略，然后還支持自定義告警接收人和發(fā)送渠道。關(guān)于自定義告警通道服務(wù)，我們預(yù)留了告警上報接口，客戶可以自己通過監(jiān)控腳本產(chǎn)生自定義的告警，通過告警上報接口，即可將告警內(nèi)容上報給云監(jiān)控，平臺會及時推送給客戶。

　　同時，不單是監(jiān)控，云API幾乎覆蓋所有可以以 API 方式對外提供服務(wù)的云產(chǎn)品并持續(xù)迭代。新產(chǎn)品上線時均同步推出對應(yīng)API。所有接口均以 https 方式對外提供，并通過簽名機制對調(diào)用者身份進行鑒權(quán)，充分保證 API 請求的安全性和合法性。在調(diào)試上，騰訊云提供了云 API 的調(diào)試工具，方便開發(fā)者快速調(diào)試 API 接口，并提供了豐富的代碼示例共開發(fā)和參考。

　　電商業(yè)務(wù)離不開圖片處理

　　作為電商，圖片支持需求是繞不過去的;對應(yīng)到技術(shù)上，需要對商品圖片進行存儲和識別。這里重點談?wù)勎覀兊膱D片內(nèi)容識別技術(shù)：DeepEye內(nèi)容識別引擎。

　　DeepEye是由SNG優(yōu)圖實驗室、TEG信息安全部聯(lián)合研發(fā)的圖像識別引擎，基于海量數(shù)據(jù)與深度學(xué)習(xí)技術(shù)研發(fā)，旨在打造百億處理級別的高可用、高準(zhǔn)確圖片內(nèi)容檢測識別系統(tǒng)，對行業(yè)內(nèi)各大產(chǎn)品UGC圖片/視頻類數(shù)據(jù)進行主動色情檢測，改變了信息安全領(lǐng)域依賴人工發(fā)現(xiàn)惡意內(nèi)容的模式，升級為機器自動發(fā)現(xiàn)+人工輔助的AI模式;

　　DeepEye技術(shù)在鑒黃上的精度達到99.95%，在多次業(yè)務(wù)評測中保持業(yè)界領(lǐng)先;在騰訊公司內(nèi)部已接入包括Qzone、頭像、Q群、朋友圈等絕大部分圖片與視頻業(yè)務(wù)，極大降低了業(yè)務(wù)監(jiān)管風(fēng)險;并聯(lián)合騰訊云搭建了萬象鑒黃、天御等品牌向公司外部客戶提供多媒體內(nèi)容檢測服務(wù)，迄今接入了包括快手、大眾點評、京東、大智慧、斗魚等數(shù)十家領(lǐng)域內(nèi)標(biāo)桿公司，極大程度上解決了人力審核上的痛點并獲得了好評。

　　這里不得不重點提一下DeepEye技術(shù)的創(chuàng)始團隊：SNG優(yōu)圖實驗室，這支人工智能團隊是騰訊公司布局前沿技術(shù)的一張王牌。從2012年成立至今，優(yōu)圖團隊從寥寥數(shù)人已成長為具備近百人規(guī)模的算法研發(fā)團隊，并于今年從原有社交平臺部架構(gòu)中獨立出來，成立了優(yōu)圖實驗室，專門從事機器學(xué)習(xí)、計算機視覺、音頻分析等人工智能領(lǐng)域前沿科技的研發(fā)與產(chǎn)品落地。其實除了圖像內(nèi)容識別方面的能力，該團隊的人臉識別、聲紋識別等能力在國際比賽中創(chuàng)造了世界紀錄。

　　越來越受到重視的安全技術(shù)

　　電商常見的三種困擾：惡意刷單、域名劫持、DDos攻擊，這里和大家分享其中兩個。

　　處理惡意刷單需要積累惡意用戶庫、有效判定、處理執(zhí)行。惡意用戶的積累需要長久作戰(zhàn)，收集IMEI、QQ、微信、手機號碼、身份證號、IP等全方位的信息;需要基于大數(shù)據(jù)做到一處作惡、多處識別。

　　關(guān)于DDoS攻擊的處理，我想談?wù)勫N子科技的這個案例。2015年錘子堅果手機發(fā)布會，遭到攻擊導(dǎo)致直播暫時，高達數(shù)十G的量攻擊，錘子商城一度面臨全面癱瘓風(fēng)險。

　　此時騰訊云介入，在錘子官網(wǎng)域名的DNS配置里面加一條CNAME，將相應(yīng)域名解析到大禹，CNAME功能會把用戶流量的請求先路由到大禹的加速點，然后由大禹的加速點清洗、過濾，再吐回到原站，順利化解了攻擊。

　　從啟動預(yù)案，接入客戶網(wǎng)站，到啟動清洗，13分鐘內(nèi)一氣呵成，數(shù)十G的攻擊流量均被大禹系統(tǒng)成功清洗，讓錘子科技官網(wǎng)恢復(fù)正常，保證了現(xiàn)場發(fā)布會召開后274萬在線用戶的順暢觀看。

　　未來展望

　　又是一年電商狂歡時，能做的還有更多，更多的騰訊能力不斷的跟廣大云計算用戶的需求相適應(yīng)，結(jié)合電商我們可以做的更多，電商正在面臨的轉(zhuǎn)型問題和最新行業(yè)發(fā)展趨勢，騰訊云電商解決方案還提供多樣化的產(chǎn)品與服務(wù)。

　　例如，許多電商正在嘗試的“直播”模式，騰訊云的視頻解決方案能夠提供全方位、立體化的技術(shù)支持，支持直播應(yīng)用在24小時內(nèi)完成快速對接，擁有完整的直播能力，實現(xiàn)穩(wěn)定的用戶體驗，這將為更多電商平臺嘗試“直播+電商”模式提供更多可能性。

　　而在人工智能層面，騰訊云基于騰訊18年的社交大數(shù)據(jù)經(jīng)驗提供準(zhǔn)確的圖片識別能力，可對不良內(nèi)容進行準(zhǔn)確甄別，識別精確度達99.95%，節(jié)省用戶95%的人力;同時，騰訊云提供智能語音服務(wù)，日核查語音時長提升31倍，服務(wù)滿意度提升23%，從資源設(shè)備到人力成本全面實現(xiàn)優(yōu)化。

　　使用騰訊云智能語音服務(wù)后，珍愛網(wǎng)語音質(zhì)檢業(yè)務(wù)的覆蓋率從3%提升到了100%，質(zhì)檢效率提升31倍。與傳統(tǒng)人工方式相比，同樣數(shù)量的通話錄音，質(zhì)檢成本僅為原來的10%。

　　作者介紹

　　羅志，騰訊云資深架構(gòu)師。 2005年加入騰訊，先后在騰訊集團內(nèi)負責(zé)過系統(tǒng)運維、DBA、游戲運維、游戲運營規(guī)劃、騰訊云售前架構(gòu)師團隊。目前主要致力于幫助合作伙伴評估、規(guī)劃、重構(gòu)系統(tǒng)架構(gòu)，建立滿足其業(yè)務(wù)未來至少2-3年發(fā)展需要的云端架構(gòu)整體解決方案。

　　今年11.11大幕已拉開，狂歡背后，提供保障服務(wù)的技術(shù)平臺更值得關(guān)注。騰訊云在此次11.11為蘑菇街、聚美優(yōu)品、當(dāng)當(dāng)、有貨、唯品會、小紅書、楚楚街等知名電商平臺提供了電商解決方案，在架構(gòu)部署、彈性伸縮、監(jiān)控服務(wù)、圖片處理和安全防范方面做了重點完善。體驗騰訊云的核心技術(shù)服務(wù)，到官網(wǎng)注冊試用，只需兩步!