TOP100全球案例研究峰會(huì)：作業(yè)幫打造百萬級(jí)QPS常態(tài)化鏈路壓測診斷平臺(tái)

　　近期，TOP100全球案例研究峰會(huì)于北京國際會(huì)議中心召開。作業(yè)幫作為在線教育領(lǐng)域的典型案例成功入選，作業(yè)幫產(chǎn)研中臺(tái)組測試負(fù)責(zé)人王俊星出席會(huì)議，并于工具鏈建設(shè)分會(huì)場向與會(huì)嘉賓展示了作業(yè)幫百萬級(jí)QPS常態(tài)化鏈路壓測診斷平臺(tái)。

　　據(jù)了解，TOP100全球案例研究峰會(huì)是由msup公司主辦的全球頂級(jí)技術(shù)峰會(huì)，至今已成功舉辦9屆。本屆TOP100全球案例研究峰會(huì)邀請(qǐng)到Amazon、LinkedIn、IBM、百度、阿里、騰訊、字節(jié)跳動(dòng)等130位一線技術(shù)大咖和業(yè)界專家，并由18位垂直專題領(lǐng)域的業(yè)界專家擔(dān)當(dāng)聯(lián)席主席，負(fù)責(zé)專題案例評(píng)審、甄選，最終形成120件案例和18個(gè)專題。對(duì)于案例評(píng)選，TOP100更崇尚專業(yè)的力量和案例落地實(shí)踐，致力于讓聽眾有所收益，保證發(fā)布的案例學(xué)習(xí)榜單富有學(xué)習(xí)價(jià)值。

　　此次作業(yè)幫成功入選TOP100全球案例，是權(quán)威機(jī)構(gòu)對(duì)作業(yè)幫作為領(lǐng)先在線教育平臺(tái)技術(shù)實(shí)力的肯定。王俊星表示，一直以來作業(yè)幫以全鏈路壓測模型的迭代升級(jí)賦能多樣化場景，保證線上千萬級(jí)并發(fā)直播上課的穩(wěn)定性。未來，作業(yè)幫將繼續(xù)融通各項(xiàng)技術(shù)及團(tuán)隊(duì)能力，深耕壓測平臺(tái)架構(gòu)優(yōu)化等基礎(chǔ)建設(shè)，保證作業(yè)幫線上服務(wù)穩(wěn)定性達(dá)到99.99%，實(shí)現(xiàn)穩(wěn)定的優(yōu)質(zhì)教育資源供給，以輻射千萬孩子的學(xué)習(xí)征程，踐行教育使命和愿景。

　　千萬學(xué)生學(xué)習(xí)場景存在解構(gòu)風(fēng)險(xiǎn)，壓測成必由之路

　　今年年初，在“停課不停學(xué)”的號(hào)召下，教育部鼓勵(lì)老師和學(xué)生“在家上學(xué)”。隨之而來的是通過互聯(lián)網(wǎng)音視頻與知識(shí)建立連接的方式在全國范圍內(nèi)迅速普及，在線教育用戶規(guī)模呈井噴式增長，2020年被稱為“在線教育爆發(fā)之年”。

　　作為在線教育企業(yè)獨(dú)角獸之一，作業(yè)幫超級(jí)APP聚集效應(yīng)在今年持續(xù)增強(qiáng)。易觀3月數(shù)據(jù)顯示，作業(yè)幫是中國唯一月活過億的教育類APP，在流量維度保持行業(yè)領(lǐng)先之勢。隨著用戶規(guī)模不斷增長，保證系統(tǒng)穩(wěn)定性、有效破解千萬學(xué)生學(xué)習(xí)場景的解構(gòu)風(fēng)險(xiǎn)成為作業(yè)幫面臨的首要任務(wù)。

　　王俊星在會(huì)上表示，教育是容不得半點(diǎn)馬虎與妥協(xié)的，為滿足所有學(xué)生和家長對(duì)于從在線獲取知識(shí)的期待，我們必須保證系統(tǒng)的穩(wěn)定性。因此，作業(yè)幫開始發(fā)力系統(tǒng)穩(wěn)定性評(píng)估路徑的探索。在調(diào)研業(yè)界各大公司的穩(wěn)定性方案和開源壓測框架后，作業(yè)幫基于自身業(yè)務(wù)場景，選擇了自研全鏈路壓測模型的解決方案。據(jù)了解，該模型必須與作業(yè)幫業(yè)務(wù)場景高度契合才能有效保證系統(tǒng)的正常運(yùn)行，既涵蓋雙師角色、學(xué)生交互復(fù)雜場景的復(fù)用、切換，同時(shí)必須將服務(wù)架構(gòu)、私有協(xié)議的特殊性納入考量范圍。

　　然而，扣住在線教育的脈搏并非一朝之間。盡管參與人數(shù)眾多，每項(xiàng)操作均為精心設(shè)置，整個(gè)團(tuán)隊(duì)視熬夜為常態(tài)，但早期壓測仍未取得預(yù)期效果。“壓測結(jié)果與現(xiàn)實(shí)存在巨大偏差，團(tuán)隊(duì)的心情只能用一句歌詞形容：多么痛的領(lǐng)悟，別再為壓測受苦。”對(duì)于初次嘗試的失敗，王俊星回憶道。

　　不同于傳統(tǒng)線下行業(yè)可以模擬出一個(gè)對(duì)等的生產(chǎn)環(huán)境，互聯(lián)網(wǎng)行業(yè)的壓測難以實(shí)現(xiàn)同級(jí)別的服務(wù)集群。數(shù)據(jù)構(gòu)造不真實(shí)、場景臆想正是壓測架構(gòu)脆弱的關(guān)鍵所在。此外，壓測工具缺乏安全性、人力投入成本大等問題亦亟待解決。因此，對(duì)于在市場賽道完美承受高壓檢驗(yàn)，作業(yè)幫還有更長的路要走。

　　安全先行、場景還原，作業(yè)幫推出自研壓測平臺(tái)

　　對(duì)于作業(yè)幫人來說，壓力測試不僅是關(guān)乎業(yè)績和增長的技術(shù)命題，更是與跨城鄉(xiāng)、跨地域的全中國中小學(xué)生相關(guān)的教育供給命題。為此，作業(yè)幫解鎖了自研壓測平臺(tái)的進(jìn)階關(guān)卡。

　　首先，產(chǎn)研團(tuán)隊(duì)在壓測的探索上達(dá)成了安全先行的共識(shí)，將“服務(wù)與數(shù)據(jù)隔離”設(shè)定為核心思想，研發(fā)、測試、運(yùn)維共同建設(shè)將方案落地。具體而言，依托于日志服務(wù)，對(duì)數(shù)據(jù)進(jìn)行清洗和脫敏，數(shù)據(jù)經(jīng)過壓測平臺(tái)后產(chǎn)生壓測標(biāo)記，在業(yè)務(wù)網(wǎng)關(guān)分發(fā)到各業(yè)務(wù)集群，業(yè)務(wù)模塊根據(jù)壓測標(biāo)記，進(jìn)行基礎(chǔ)業(yè)務(wù)服務(wù)和數(shù)據(jù)的隔離。

　　對(duì)于場景模擬和數(shù)據(jù)構(gòu)造的真實(shí)性，團(tuán)隊(duì)目前已從最初的捉襟見肘轉(zhuǎn)向能夠游刃有余地發(fā)揮技術(shù)優(yōu)勢的階段。隨著平臺(tái)投入使用后，對(duì)大家的衍生使用需求，如數(shù)據(jù)預(yù)熱需求、高壓下的持續(xù)穩(wěn)定性測試等，進(jìn)行了優(yōu)化支持，以滿足壓測多樣化需求。

　　而在模擬場景的塑造上，作業(yè)幫則分為兩大板塊，生成不同的設(shè)計(jì)思路。一方面，對(duì)大型售賣活動(dòng)，采取了多場景鏈路壓測疊加參數(shù)化的方式進(jìn)行梯度發(fā)壓，并基于漏斗型用戶行為模型，達(dá)成預(yù)期的成果;另一方面，對(duì)復(fù)雜教學(xué)場景的支持，復(fù)雜性主要體現(xiàn)在技術(shù)復(fù)雜性(涉及到私有技術(shù)架構(gòu)、長連接和流媒體協(xié)議)，數(shù)據(jù)和交互的復(fù)雜性即雙師教學(xué)的業(yè)務(wù)形態(tài)(每個(gè)學(xué)生都是一個(gè)獨(dú)立的個(gè)體，有各自的行為序列;主講與輔導(dǎo)老師各司其職并實(shí)時(shí)同步學(xué)生狀態(tài)，使主講及時(shí)調(diào)整教學(xué)內(nèi)容，保證學(xué)生的課堂收獲)。因此作業(yè)幫自研了學(xué)生節(jié)點(diǎn)、主講節(jié)點(diǎn)、輔導(dǎo)老師節(jié)點(diǎn)模型，依托真實(shí)的日志將不同角色的行為序列化，最后注入模型，實(shí)現(xiàn)教學(xué)場景的仿真。

　　王俊星表示：“作業(yè)幫是做教育的，因此對(duì)直播課場景傾注了更多心血。我們必須嚴(yán)格把控視頻流的同步性、互動(dòng)的實(shí)時(shí)性及到達(dá)率，保證教學(xué)質(zhì)量與學(xué)生的體驗(yàn)，而場景還原是做足攻防和破壞性演練的基礎(chǔ)。當(dāng)翻山越嶺跨過這道坎之后，作業(yè)幫仍要繼續(xù)尋求壓測技術(shù)的向上突破。”

　　高效的常態(tài)化平臺(tái)體系加持，作業(yè)幫穩(wěn)定輸出教育價(jià)值

　　對(duì)于在線教育技術(shù)團(tuán)隊(duì)而言，每次活動(dòng)或開課節(jié)點(diǎn)都是一場硬仗，平臺(tái)服務(wù)層面的“風(fēng)平浪靜”一般源自于底層技術(shù)團(tuán)隊(duì)壓測的無數(shù)次“驚心動(dòng)魄”。為緩解人員運(yùn)維壓力，提高效率，作業(yè)幫團(tuán)隊(duì)從壓測平臺(tái)的發(fā)壓階段切入，切實(shí)提高重大事件的平臺(tái)承受能力。

　　王俊星介紹道，作業(yè)幫對(duì)于發(fā)壓側(cè)進(jìn)行了結(jié)構(gòu)性調(diào)整優(yōu)化，基于2PC思想和流水線形式處理鏈路，大大提升單節(jié)點(diǎn)發(fā)壓能力，減少了設(shè)備投入和運(yùn)維成本。發(fā)壓的安全上也會(huì)進(jìn)一步優(yōu)化，很快我們就會(huì)與業(yè)務(wù)支撐系統(tǒng)打通，觸發(fā)閾值熔斷并與自動(dòng)化平臺(tái)聯(lián)動(dòng)以達(dá)到服務(wù)探活的目的，使壓測風(fēng)險(xiǎn)進(jìn)一步降低。

　　同時(shí)，為了解決高并發(fā)數(shù)據(jù)結(jié)果統(tǒng)計(jì)瓶頸，作業(yè)幫還會(huì)對(duì)計(jì)算引擎進(jìn)行優(yōu)化，通過分級(jí)計(jì)算、分布式部署，解決數(shù)據(jù)匯總壓力，提升集群水平擴(kuò)展性。

　　效率的提高除了對(duì)源頭進(jìn)行管控，也離不開中間層面的調(diào)度程序優(yōu)化。對(duì)此，作業(yè)幫豐富節(jié)點(diǎn)管理，增加節(jié)點(diǎn)屬性，并針對(duì)特殊壓測場景，獨(dú)立申請(qǐng)壓測節(jié)點(diǎn)，使節(jié)點(diǎn)分配更加高效合理，避免互相影響。

　　目前，集安全、擬真、效率于一體的百萬級(jí)QPS常態(tài)化鏈路壓測診斷平臺(tái)已初步具備了抗風(fēng)險(xiǎn)能力，對(duì)千萬孩子的教育資源流通產(chǎn)生強(qiáng)大的輻射作用。未來，作業(yè)幫還將聚焦系統(tǒng)薄弱環(huán)節(jié)預(yù)判板塊，持續(xù)建設(shè)內(nèi)置學(xué)習(xí)模型，全面打造自動(dòng)化、領(lǐng)先行業(yè)的賦能平臺(tái)。

　　談及壓測平臺(tái)的研發(fā)心得，王俊星表示，“用技術(shù)完美承接瞬時(shí)流量也許能無差別地讓每一位工程師產(chǎn)生成就感，而用科技落實(shí)教育理念則是作業(yè)幫人的獨(dú)有標(biāo)簽。對(duì)我們而言，教育容不得半點(diǎn)馬虎與妥協(xié)，我們必須保證每一位學(xué)生的體驗(yàn)和課堂收獲，讓優(yōu)質(zhì)教育觸手可及。今后，我們將繼續(xù)投入優(yōu)質(zhì)教育資源的穩(wěn)定供給之中，輻射千萬孩子的學(xué)習(xí)征程，踐行教育使命和愿景。”