聽云：從APM出發(fā)，看電商“雙十一”驚人銷售額背后的技術(shù)挑戰(zhàn)

　　雙十一這個(gè)由電商創(chuàng)造出來的購(gòu)物節(jié)自2009年首次舉辦，今年已經(jīng)進(jìn)入到第九個(gè)年頭。也許當(dāng)初創(chuàng)辦“雙十一”只是抱著做一個(gè)促銷事件的初衷，而如今的“雙十一”則成為了一個(gè)自帶流量的全球性熱門IP，成為各大電商宣示其市場(chǎng)占有率、消費(fèi)體驗(yàn)、產(chǎn)品質(zhì)量、市場(chǎng)影響力的具有重大象征意義的“戰(zhàn)場(chǎng)”。

　　近日，2017年雙十一也落下了帷幕，我們可以看到今年的雙十一消費(fèi)升級(jí)漸趨勢(shì)明顯，雙十一正努力褪去價(jià)格競(jìng)爭(zhēng)的烙印，從低價(jià)策略轉(zhuǎn)向品牌策略，通過逐漸與品牌商以及服務(wù)鏈融合，向品質(zhì)消費(fèi)、服務(wù)消費(fèi)的新業(yè)態(tài)轉(zhuǎn)變。在當(dāng)前用戶的消費(fèi)熱情和雙十一新鮮感的降低，以及隨著往年GMV越來越高的情況下，各家龍頭電商仍能再創(chuàng)新高實(shí)屬不易，其中阿里成交額為1682億元，京東成交額為1271億元。

　　在上述漂亮的銷售數(shù)字的背后，我們?cè)賮砜匆唤M數(shù)據(jù)，這是在2017年11月11日凌晨，天貓雙11全球狂歡節(jié)剛開場(chǎng)5分22秒產(chǎn)生的數(shù)據(jù)，支付峰值25.6萬筆/秒，數(shù)據(jù)庫(kù)處理峰值4200萬次/秒。其中4200萬次/秒的意思是，在支付峰值產(chǎn)生的那一秒里，平穩(wěn)處理了4200萬次請(qǐng)求數(shù)。我們可以發(fā)現(xiàn)，在這一組組漂亮數(shù)字的背后，是無數(shù)技術(shù)人員通宵保障的結(jié)果，今天，我們就從聽云視角，一步步走近各家電商在雙十一期間的“后臺(tái)狀況”

　　聽云根據(jù)多年對(duì)互聯(lián)網(wǎng)電商的服務(wù)經(jīng)驗(yàn)，積累了一套“雙十一電商性能解決方案”，并在雙十一當(dāng)天的各家電商總部進(jìn)行了現(xiàn)場(chǎng)駐場(chǎng)的重保服務(wù)。

　　京東——

　　“聽云的劫持監(jiān)控服務(wù)在本次雙十一保障項(xiàng)目中表現(xiàn)出色，及時(shí)有效報(bào)告劫持事件，幫助分析事件發(fā)生的時(shí)間、可能造成的影響，配合統(tǒng)計(jì)分析劫持?jǐn)?shù)據(jù)，協(xié)助劫持溯源工作，順利完成雙十一安全保障工作。”

　　在今年618大促時(shí)，京東的訪問量、訂單量已經(jīng)突破以往歷年的量，因此預(yù)計(jì)到2017年雙十一將會(huì)突破歷史，創(chuàng)造新的業(yè)務(wù)量高峰，這對(duì)于技術(shù)而言一定會(huì)迎來新的業(yè)務(wù)挑戰(zhàn)。同時(shí)劫持一直是京東安全部門關(guān)心的重點(diǎn)問題，作為電商中的翹楚，京東也是運(yùn)營(yíng)商劫持的重點(diǎn)對(duì)象。

　　前期準(zhǔn)備：

　　1.從今年9月開始，京東便進(jìn)入雙十一備戰(zhàn)階段，為了應(yīng)對(duì)此次雙十一可能帶來的歷史級(jí)業(yè)務(wù)量峰值，京東前期先后通過新增幾百臺(tái)設(shè)備、新增自建CDN節(jié)點(diǎn)、增加了國(guó)內(nèi)、海外等多個(gè)節(jié)點(diǎn)以迎接新的挑戰(zhàn)。

　　2.對(duì)于劫持問題，為了減少劫持?jǐn)?shù)量，京東推動(dòng)全站https化，截止到十月底PC頁(yè)面的https比例已過90%，m站和APP已經(jīng)超過99%。

　　雙十一當(dāng)天：

　　在雙十一當(dāng)天，京東使用了聽云Network重點(diǎn)監(jiān)測(cè)了CDN加速效果和各關(guān)鍵頁(yè)面的劫持情況。

　　1.其中,CDN主要關(guān)注全國(guó)各地區(qū)的靜態(tài)資源下載時(shí)間、網(wǎng)絡(luò)鏈路質(zhì)量(DNS時(shí)間、建連時(shí)間、首包時(shí)間)。在11月11日20點(diǎn)一波較大促銷過后，通過監(jiān)測(cè)數(shù)據(jù)發(fā)現(xiàn)某CDN廠商一個(gè)邊緣節(jié)點(diǎn)質(zhì)量出現(xiàn)異常，首包時(shí)間明顯增加，在與廠商溝通過進(jìn)行了及時(shí)調(diào)整，確保大促的正常進(jìn)行。

　　2.同時(shí)，劫持情況是安全部門關(guān)心的重點(diǎn)。雙十一重保期間，通過聽云，京東每四個(gè)小時(shí)匯總DNS劫持和鏈路劫持?jǐn)?shù)據(jù)，交給安全部門，協(xié)調(diào)渠道與運(yùn)營(yíng)商溝通解決，取得了明顯效果，一些時(shí)間段的劫持比例甚至接近0。

　　蘇寧——

　　“聽云在此次雙十一駐場(chǎng)工作中盡職盡責(zé)，給予好評(píng)。”

　　作為2017年終最重要的一次促銷活動(dòng)，蘇寧在此次雙十一中提出了“零事故”的目標(biāo)，即全面投入、全面聚焦、全力打響2017年的最后沖刺戰(zhàn)。蘇寧針對(duì)此次大促分別做了前端保障、APP運(yùn)維、網(wǎng)絡(luò)支撐以及服務(wù)監(jiān)控這四方面的保障措施。

　　蘇寧性能保障舉措

　　前期準(zhǔn)備：

　　在雙十一當(dāng)天，為了實(shí)現(xiàn)“零事故”的目標(biāo)，蘇寧對(duì)兩部分的內(nèi)容進(jìn)行了重點(diǎn)監(jiān)測(cè)：第一是PC端監(jiān)測(cè)，主要為消費(fèi)者中心核心頁(yè)面、消費(fèi)者中心核心接口、大盤監(jiān)控(專用);第二是真機(jī)端監(jiān)測(cè)，主要為蘇寧各大類商城的手機(jī)頁(yè)面監(jiān)測(cè)。

　　雙十一當(dāng)天：

　　在雙十一期間，通過當(dāng)天真機(jī)監(jiān)測(cè)出“消費(fèi)者-WAP-蘇寧家電任務(wù)”出現(xiàn)大面積劫持現(xiàn)象，導(dǎo)致該區(qū)域可用性低于30%。但經(jīng)過聽云排查后發(fā)現(xiàn),是相關(guān)人員配置域名白名單時(shí)出錯(cuò)，導(dǎo)致劫持的誤報(bào)，最后聽云現(xiàn)場(chǎng)駐場(chǎng)人員及時(shí)修正劫持配置，保障了該任務(wù)在實(shí)際出現(xiàn)網(wǎng)絡(luò)問題時(shí)能夠及時(shí)告警。

　　CDN方面，通過聽云Network中國(guó)地圖等大屏工具實(shí)時(shí)監(jiān)測(cè)到全國(guó)各地區(qū)各網(wǎng)絡(luò)環(huán)境下真實(shí)的訪問情況，并對(duì)CDN的服務(wù)質(zhì)量進(jìn)行實(shí)時(shí)分析，真正做到有問題即時(shí)告警。

　　聚美——

　　“監(jiān)控對(duì)我們運(yùn)維而言，非常的重要，能夠第一時(shí)間發(fā)現(xiàn)問題，快速定位問題。聽云就是運(yùn)維人的眼睛。”

　　聚美優(yōu)品是一家深受千萬用戶信賴的全球領(lǐng)先化妝品限時(shí)特賣網(wǎng)站。作為女性的“必需品”，本身產(chǎn)品就是特賣的價(jià)格，再加上雙十一期間的雙重優(yōu)惠，勢(shì)必會(huì)有很多流量同時(shí)涌入，這給聚美的后端架構(gòu)帶來了極大的壓力。其中在雙十一當(dāng)天，隨著訪問量的不斷增加，峰值并發(fā)已經(jīng)達(dá)到了日常量的幾十倍，所以如何盡量保證所有業(yè)務(wù)在雙十一當(dāng)天的穩(wěn)定性就成為了后臺(tái)運(yùn)維人員的頭等大事。

　　聚美對(duì)于用戶體驗(yàn)的重視由來已久，因此聚美優(yōu)品針對(duì)業(yè)務(wù)重點(diǎn)在雙十一前做了如下準(zhǔn)備：

　　1.根據(jù)推廣及業(yè)務(wù)量的評(píng)估來對(duì)業(yè)務(wù)機(jī)器擴(kuò)容，同時(shí)使用k8s對(duì)Docker容器進(jìn)行調(diào)度，以保證幾千個(gè)容器能在短時(shí)間內(nèi)同時(shí)上線。

　　2.測(cè)試人員通過壓力測(cè)試來盡早暴露風(fēng)險(xiǎn)點(diǎn)。

　　3.在大促當(dāng)天，CDN流量肯定要比日常要高出十幾倍，因此提前通知廠商預(yù)留帶寬、提前預(yù)熱，以減少源站壓力。

　　4.通過聽云Network監(jiān)測(cè)CDN質(zhì)量問題，聽云技術(shù)服務(wù)人員與CDN廠商服務(wù)人員建立線上溝通，當(dāng)聽云定位出問題會(huì)及時(shí)通知CDN廠商，以達(dá)到在雙十一活動(dòng)前對(duì)CDN質(zhì)量進(jìn)行調(diào)優(yōu)的目的。

　　5.通過聽云App發(fā)現(xiàn)聚美APP中的問題，如接口性能問題、錯(cuò)誤率等，幫助聚美的運(yùn)維研發(fā)人員可以在大促活動(dòng)前及時(shí)將問題修復(fù)。

　　雙十一當(dāng)天：

　　網(wǎng)絡(luò)問題是不可預(yù)知的，尤其是在高并發(fā)、高流量的雙十一活動(dòng)期間，盡管聽云已經(jīng)幫助聚美盡可能的將自身性能做到了最好，但是在大促過程中仍然暴露出了一些問題：

　　11月11日0點(diǎn)一過，來自全球各地區(qū)的用戶紛紛涌入聚美APP和官網(wǎng)，瞬時(shí)的高流量給CDN線路帶來了大量的沖擊，盡管事先已經(jīng)做了一定的調(diào)優(yōu)，但是仍然造成了CDN的不穩(wěn)定波動(dòng)、機(jī)房的可用性降低等問題。通過聽云的及時(shí)發(fā)現(xiàn)并積極的與CDN廠商溝通，最終確保了雙十一當(dāng)天網(wǎng)絡(luò)狀況的穩(wěn)定。

　　當(dāng)當(dāng)網(wǎng)——

　　“雙十一大促當(dāng)當(dāng)網(wǎng)順利完成，各項(xiàng)銷售指標(biāo)創(chuàng)新高，感謝聽云對(duì)當(dāng)當(dāng)網(wǎng)的支持保障。”

　　當(dāng)當(dāng)網(wǎng)自創(chuàng)立至今，已從早期線上賣書拓展到賣各品類百貨，其中當(dāng)當(dāng)嬰童已經(jīng)發(fā)展為當(dāng)前嬰童垂直領(lǐng)域中國(guó)最大的線上商店。今年的雙十一活動(dòng)，當(dāng)當(dāng)旨在繼續(xù)打破去年創(chuàng)下的各項(xiàng)銷售指標(biāo)，為此在雙十一當(dāng)天同時(shí)推出了多種優(yōu)惠促銷活動(dòng)。而優(yōu)惠促銷即意味著大量的人群涌入。

　　前期準(zhǔn)備：

　　當(dāng)當(dāng)網(wǎng)在大促前提前準(zhǔn)備了壓力測(cè)試，這樣的預(yù)防措施也使得在11月10日晚10點(diǎn)之后訪問量突然激增這樣的突發(fā)事件得以平穩(wěn)渡過。

　　雙十一當(dāng)天：

　　在活動(dòng)當(dāng)天，當(dāng)當(dāng)網(wǎng)PC端雙11主會(huì)場(chǎng)發(fā)生了較為嚴(yán)重的劫持情況，其中主要集中在電信運(yùn)營(yíng)商，通過積極與運(yùn)營(yíng)商聯(lián)系最終得到妥善解決。

　　同時(shí)隨著移動(dòng)端業(yè)務(wù)在當(dāng)當(dāng)網(wǎng)中的實(shí)際占比越來越高，當(dāng)當(dāng)網(wǎng)也逐漸將維護(hù)重心轉(zhuǎn)向移動(dòng)端。在雙十一當(dāng)天，當(dāng)當(dāng)APP出現(xiàn)了啟動(dòng)時(shí)間增加的性能問題，經(jīng)過聽云仔細(xì)排查定位，發(fā)現(xiàn)是由于啟動(dòng)屏中圖片體積較大所導(dǎo)致的，通過優(yōu)化圖片體積等方式解決了這類問題，及時(shí)保證了大促當(dāng)天的平穩(wěn)進(jìn)行。

　　寺庫(kù)——

　　“聽云，保障雙11順利進(jìn)行。”

　　寺庫(kù)，作為國(guó)內(nèi)奢侈品電商領(lǐng)域的領(lǐng)導(dǎo)者，在2016年首次參加雙十一并取得出色的戰(zhàn)果后，今年繼續(xù)加大優(yōu)惠力度。近年來隨著用戶消費(fèi)觀念趨于理性和品牌化，寺庫(kù)受到的關(guān)注也越來越多。同時(shí)寺庫(kù)的客單值更高，每一位用戶都是寺庫(kù)眼中的VIP，因此寺庫(kù)對(duì)于雙十一期間的用戶體驗(yàn)格外重視。

　　前期準(zhǔn)備：

　　由于重視每一位用戶的特性，寺庫(kù)在雙十一活動(dòng)前期制定了一系列性能優(yōu)化策略，其中包括對(duì)圖片域名的響應(yīng)時(shí)間、Shopping域名下接口的響應(yīng)時(shí)間、錯(cuò)誤率警報(bào)等關(guān)鍵性能指標(biāo)做了預(yù)警處理，可以在問題出現(xiàn)時(shí)第一時(shí)間報(bào)警，減少由此帶來的損失

　　雙十一當(dāng)天：

　　在雙十一當(dāng)天，由于之前寺庫(kù)的直接受眾人群較少，對(duì)于如此高流量訪問沖擊的應(yīng)對(duì)經(jīng)驗(yàn)不足，出現(xiàn)了網(wǎng)站登錄頁(yè)無法建連的css元素錯(cuò)誤。經(jīng)過聽云的分析及定位，最終確定錯(cuò)誤集中出現(xiàn)在在區(qū)域運(yùn)營(yíng)商的某一主機(jī)下，發(fā)現(xiàn)是受后端搜索業(yè)務(wù)耗時(shí)影響導(dǎo)致的搜索頁(yè)面訪問時(shí)間增加，進(jìn)而幫助寺庫(kù)調(diào)整了該主機(jī)。

　　酒仙網(wǎng)——

　　“雙十一前期準(zhǔn)備重點(diǎn)在服務(wù)器端的優(yōu)化，承載能力代碼效率提升，雙十一當(dāng)天會(huì)對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)，服務(wù)資源進(jìn)行臨時(shí)增加，代碼不會(huì)再做修改。”

　　酒仙網(wǎng)，作為國(guó)內(nèi)領(lǐng)先的酒類電商平臺(tái)，具有周期性明顯、節(jié)日氣氛濃厚的流量特性。此次的雙十一，作為電商在年終最后一次大規(guī)模的促銷活動(dòng)，對(duì)于提升全年銷售額、清理庫(kù)存等方面有著重要的作用。酒仙網(wǎng)在去年也打出了“健康雙十一”的理念，但這并不代表酒仙網(wǎng)就此放棄雙十一，相反，對(duì)于“健康”的理解，也應(yīng)用到了網(wǎng)站健康上。

　　前期準(zhǔn)備：

　　為了能夠在不出任何差錯(cuò)的情況下完成對(duì)去年的超越，酒仙網(wǎng)在雙十一前期做了以下三點(diǎn)準(zhǔn)備：

　　1.在“雙十一”前一個(gè)月左右對(duì)業(yè)務(wù)官網(wǎng)進(jìn)行壓力測(cè)試，以保證網(wǎng)站性能瓶頸可以得到及時(shí)的暴露和解決

　　2.針對(duì)于后端服務(wù)器，通過添加多個(gè)聽云Server探針，來保證可以實(shí)時(shí)采集到后端全量數(shù)據(jù)

　　3.安排運(yùn)維及研發(fā)人員詳細(xì)的駐守時(shí)間表，保證每個(gè)時(shí)段有問題時(shí)能夠及時(shí)應(yīng)對(duì)。

　　雙十一當(dāng)天：

　　在雙十一當(dāng)天，聽云的技術(shù)人員到酒仙網(wǎng)總部進(jìn)行了技術(shù)駐場(chǎng)，現(xiàn)場(chǎng)為酒仙網(wǎng)的后臺(tái)提供技術(shù)支持，主要做了以下5點(diǎn)：

　　1.將聽云Network監(jiān)測(cè)任務(wù)的頻率調(diào)整到5分鐘級(jí)別，更快發(fā)現(xiàn)網(wǎng)絡(luò)問題。

　　2.現(xiàn)場(chǎng)駐場(chǎng)人員或遠(yuǎn)程人員實(shí)時(shí)進(jìn)行報(bào)表刷新。

　　3.配置監(jiān)測(cè)大屏，提供一個(gè)全體工作人員交流的平臺(tái)。

　　4.聽云系統(tǒng)停止任何更新改動(dòng)。

　　5.在當(dāng)天本身系統(tǒng)代碼不會(huì)再進(jìn)行調(diào)整，同時(shí)對(duì)網(wǎng)絡(luò)和CDN云服務(wù)等第三方進(jìn)行嚴(yán)格監(jiān)控，以防出現(xiàn)自身不可控的問題。

　　可以看出，雖然“雙十一”當(dāng)天的銷售額仍在增長(zhǎng)，但是隨著“阿里系”市場(chǎng)份額的降低，電商行業(yè)競(jìng)爭(zhēng)仍在加劇。換句話說，如今電商之間的戰(zhàn)爭(zhēng)不再是銷售額大小的比對(duì)，而是流量、用戶的比較，而且照目前的趨勢(shì)來看，用戶正在變得越來越貴。

　　在這樣重要的時(shí)間段如果出現(xiàn)如網(wǎng)頁(yè)打不開、APP崩潰的嚴(yán)重的性能問題，不只是使銷售額大量縮水，更是對(duì)品牌影響力的一個(gè)嚴(yán)重的打擊。那么如何保證在雙十一這樣一個(gè)具有決定性意義的電商大促節(jié)日下留住用戶，而不只是讓他們作為一個(gè)“一次性”的用戶。在這條路上，聽云會(huì)在現(xiàn)在的基礎(chǔ)上，與各家電商共同探討更深層次的電商企業(yè)用戶體驗(yàn)之道。