阿里云馮詩淳：ACK容器服務(wù)生產(chǎn)及可觀測(cè)體系的建設(shè)與實(shí)踐

　　2022年第一季度，在Forrester發(fā)布的公共云容器平臺(tái)分析師報(bào)告中，阿里云容器服務(wù)ACK進(jìn)入領(lǐng)導(dǎo)者象限，ACK的可觀測(cè)能力得到了分析師的高度肯定。由此可見，可觀測(cè)性已經(jīng)成為構(gòu)建用戶IT系統(tǒng)運(yùn)維體系的重要能力。

　　2022年8月9日，CSDN云原生系列在線峰會(huì)第15期“Prometheus峰會(huì)”上，阿里云容器服務(wù)團(tuán)隊(duì)可觀測(cè)體系負(fù)責(zé)人馮詩淳分享了阿里云ACK容器服務(wù)生產(chǎn)及可觀測(cè)體系的建設(shè)與實(shí)踐。

　　ACK可觀測(cè)性體系

　　上圖是ACK可觀測(cè)體系的全景圖金字塔，從上至下可以分為4層。

　　Business Monitoring業(yè)務(wù)監(jiān)控，包括用戶業(yè)務(wù)的前端流量、PV、前端性能、JS 響應(yīng)速度等監(jiān)控。通過容器服務(wù)的 Ingress Dashboard 來監(jiān)測(cè) Ingress的請(qǐng)求量以及請(qǐng)求的狀態(tài)，用戶可以定制業(yè)務(wù)日志，通過容器服務(wù)的日志監(jiān)控實(shí)現(xiàn)業(yè)務(wù)的自定義監(jiān)控。

　　Application Performance Monitoring應(yīng)用監(jiān)控，由ARMS APM產(chǎn)品提供用戶Java Profiling和Tracing等能力，也支持OpenTracing和OpenTelemetric協(xié)議的多語言監(jiān)控方案。

　　Container Monitoring容器監(jiān)控，包括容器的集群資源、容器Runtime層、容器引擎以及容器集群的穩(wěn)定性。使用阿里云Prometheus在一張Global View的大盤中展示不同集群層面的資源、應(yīng)用、水位、云資源等，也包括事件體系和日志體系。

　　Infrastructure Monitoring基礎(chǔ)資源監(jiān)控，包括不同的云資源、虛擬化層、操作系統(tǒng)內(nèi)核層等，容器層和基礎(chǔ)架構(gòu)層都可以使用基于eBPF的無侵入式架構(gòu)和K8s監(jiān)控能力做網(wǎng)絡(luò)和調(diào)用的Tracing。

　　可觀測(cè)體系的每一層都和可觀測(cè)的三大支柱Logging、Tracing、Metrics有著不同程度的映射。

　　場(chǎng)景一：異常診斷場(chǎng)景的可觀測(cè)能力實(shí)踐

　　上圖為用戶的異常診斷案例，線上系統(tǒng)流量由朝九晚五的不同業(yè)務(wù)發(fā)生波谷，造成應(yīng)用跟隨波峰波谷產(chǎn)生水位波動(dòng)。以下是業(yè)務(wù)流量激增引起異常的診斷過程：

　　收到容器報(bào)警后快速反應(yīng)，對(duì)核心業(yè)務(wù)的Pod進(jìn)行重啟或擴(kuò)容，查找問題根因;

　　通過Ingress Dashboard從入口流量自上而下進(jìn)行分析，發(fā)現(xiàn)對(duì)外業(yè)務(wù)成功率下降并出現(xiàn)4XX返回碼請(qǐng)求;

　　結(jié)合資源以及負(fù)載層面，發(fā)現(xiàn)是由于朝九晚五的流量導(dǎo)致水位負(fù)載，早上9點(diǎn)存在和故障對(duì)齊的明顯水位飆升，這是故障所在;

　　系統(tǒng)第一時(shí)間褒獎(jiǎng)核心業(yè)務(wù)Pod定位，結(jié)合業(yè)務(wù)日志進(jìn)行分析，找到異常日志的輸出;

　　結(jié)合ARMS Java的APM應(yīng)用監(jiān)控，定位到緩存Bug是由于上午9點(diǎn)業(yè)務(wù)流量的飆升導(dǎo)致，造成了頻繁的數(shù)據(jù)庫讀寫;

　　通過修復(fù)Bug，徹底閉環(huán)整個(gè)異常。

　　上述流程是一個(gè)典型的貫穿整個(gè)ACK可觀測(cè)不同能力的異常診斷排查過程，通過它我們可以更好地理解ACK可觀測(cè)體系是如何相互工作和相互協(xié)調(diào)的。

　　ACK可觀測(cè)體系——事件體系

　　異常診斷發(fā)現(xiàn)問題最快、也是經(jīng)常容易被人忽略的手段是在Logging體系的事件體系。

　　ACK可觀測(cè)體系在社區(qū)的事件體系之上進(jìn)行了增強(qiáng)，做到了事件體系的全覆蓋，包含K8s應(yīng)用事件、集群Ops事件、集群核心組件事件、K8s Runtime事件、操作系統(tǒng)/內(nèi)核異常事件、基礎(chǔ)設(shè)置平臺(tái)事件。

　　ACK提供了開箱即用的事件中心能力，能夠一鍵開啟事件中心;強(qiáng)大且靈活易用的數(shù)據(jù)分析能力，為后面基于事件驅(qū)動(dòng)的Ops體系提供了基礎(chǔ)。

　　ACK K8s集群更多的是對(duì)資源的生命周期進(jìn)行管控，事件中心也提供了以數(shù)據(jù)為錨點(diǎn)的資源生命周期監(jiān)管控能力，可以對(duì)生命周期中最重要的幾個(gè)時(shí)間點(diǎn)進(jìn)行性能的調(diào)試優(yōu)化以及對(duì)異常Pod狀態(tài)快速反應(yīng)。

　　ACK可觀測(cè)體系——日志體系

　　事件體系的父類日志體系Logging在可觀測(cè)體系中的主要使用場(chǎng)景有以下幾種：

　　ACK的日志體系中默認(rèn)提供了Ingress等重要場(chǎng)景的默認(rèn)大盤，可以在一鍵接入Ingress大盤后快速查看集群Ingress的流量，包括PV、UV以及應(yīng)用異常狀態(tài)等;

　　ACK的日志體系提供了審計(jì)日志大盤，可以快速分析集群資源的訪問和使用軌跡，針對(duì)未授權(quán)的訪問可進(jìn)行預(yù)警和報(bào)警，為集群提供更安全的環(huán)境;

　　提供云原生無侵入式的日志獲取方式，用戶可以便捷地將日志采集到日志中心，進(jìn)而享受日志中心多維且強(qiáng)大的分析能力。

　　ACK可觀測(cè)體系——Metric體系

　　Metric體系是做穩(wěn)定性保障和性能調(diào)優(yōu)時(shí)最常用的體系。水位等指標(biāo)都可以通過大盤直觀地展示給用戶。

　　產(chǎn)品側(cè)預(yù)制了ARMS Prometheus大盤產(chǎn)品，購買ACK K8s集群后可以一鍵開啟Prometheus大盤，它包含了大量業(yè)務(wù)運(yùn)維成熟經(jīng)驗(yàn)的沉淀。

　　ACK集群控制面的核心組件API Server、ETCD、CCM等也做了指標(biāo)加強(qiáng)，ACK Pro群不僅負(fù)責(zé)托管主核心組件、維護(hù)集群的SLA，同時(shí)也會(huì)將透明指標(biāo)性能暴露給用戶，讓用戶可以安心使用。

　　場(chǎng)景二：穩(wěn)定性保障——ACK助力2022冬奧會(huì)圓滿平穩(wěn)舉行

　　指標(biāo)場(chǎng)景是穩(wěn)定性保障的重要支持能力。ACK為2022年冬奧會(huì)服務(wù)，助力冬奧圓滿平穩(wěn)舉行。ACK集群中部署了冬奧的多個(gè)核心業(yè)務(wù)系統(tǒng)，包括冬奧的國際官網(wǎng)、比賽場(chǎng)館、票務(wù)系統(tǒng)等，為多個(gè)核心系統(tǒng)保駕護(hù)航。

　　核心系統(tǒng)多為Java系微服務(wù)架構(gòu)，實(shí)際使用時(shí)有近千個(gè)Deployment實(shí)例。通過引入壓測(cè)的方式進(jìn)行容量評(píng)估，同時(shí)配合為冬奧定制首屏運(yùn)維大盤，實(shí)時(shí)跟進(jìn)應(yīng)用狀態(tài)，為集群的穩(wěn)定性提供保障。

　　場(chǎng)景三：生產(chǎn)級(jí)規(guī)模集群穩(wěn)定性保障實(shí)踐

　　用戶的生產(chǎn)系統(tǒng)規(guī)模很大，在節(jié)點(diǎn)集群規(guī)模達(dá)到千級(jí)別后，用戶在集群上進(jìn)行密集、大規(guī)模的集群資源訪問，極易出現(xiàn)集群穩(wěn)定性的問題。

　　比如，用戶在大規(guī)模集群中頻繁密集地訪問集群資源，會(huì)使APIServer，API Server的Mutating請(qǐng)求量較高，負(fù)載過高會(huì)導(dǎo)致出現(xiàn)丟棄請(qǐng)求的情況，影響用戶業(yè)務(wù)的發(fā)布或用戶的變更。

　　再者，密集的集群資源訪問也可能打滿APIServer帶寬，API Server的請(qǐng)求延時(shí)，RT會(huì)升至高位，一次API的訪問可能需要幾十秒，這會(huì)嚴(yán)重影響用戶業(yè)務(wù)，同時(shí)，API Server的只讀請(qǐng)求數(shù)也會(huì)飆升。

　　診斷路徑主要分為以下三個(gè)步驟：

　　問題快速發(fā)現(xiàn)，依據(jù)API Server指標(biāo)水位進(jìn)行問題定位;

　　根因快速定位，依據(jù)API Server訪問日志定位問題瓶頸應(yīng)用;

　　止血/閉環(huán)問題，停止/優(yōu)化應(yīng)用的List Watch資源行為、性能。

　　ACK可觀測(cè)體系——Prometheus For ACK Pro

　　阿里云近期推出了Prometheus For ACK Pro，它是Prometheus的升級(jí)服務(wù)，包含一組符合關(guān)聯(lián)分析邏輯且可交互的大盤，包括標(biāo)準(zhǔn)輸出日志、集群事件、eBPF無侵入式應(yīng)用指標(biāo)、系統(tǒng)指標(biāo)、網(wǎng)絡(luò)指標(biāo)等數(shù)據(jù)源。用戶可以通過一張大盤的關(guān)聯(lián)分析邏輯，從總覽到細(xì)節(jié)，通過多數(shù)據(jù)源、多角度的可觀測(cè)能力進(jìn)行不同角度的排查。

　　ACK可觀測(cè)體系——Tracing體系

　　應(yīng)用層Trace

　　在ACK可觀測(cè)體系里，Tracing體系提供了定位問題根因的能力。應(yīng)用層的Tracing提供ARMS APM能力，支持OpenTracing、OpenTelemetry 協(xié)議，可以支持多種語言的應(yīng)用。

　　針對(duì)Java提供無侵入式的APM能力，也支持Profiling以及代碼堆棧級(jí)的調(diào)用監(jiān)控能力。不同語言可以匯聚成同一張分布式調(diào)用追蹤大圖，自上而下地查看一次分布式調(diào)用，從而定位、診斷問題。

　　集群網(wǎng)絡(luò)、調(diào)用Trace

　　阿里云基于eBPF能力的網(wǎng)絡(luò)層Tracing具有以下特點(diǎn)：

　　基于eBPF插樁技術(shù)，內(nèi)核層面、零代碼改動(dòng)、低性能消耗;

　　全局拓?fù)淇焖俣ㄎ徽{(diào)用鏈異常，通過網(wǎng)絡(luò)拓?fù)�、資源拓?fù)湔故鞠嚓P(guān)資源的關(guān)聯(lián);

　　K8s應(yīng)用全局拓?fù)湟暯牵�包括service/deployment topology and workload-resource mapping;

　　統(tǒng)一視圖，集合metrics/traces/events/logs，支持可觀測(cè)的各種類型數(shù)據(jù)。

　　基于ACK可觀測(cè)能力建設(shè)Ops體系

　　基于ACK可觀測(cè)能力建設(shè)AIOps體系

　　使用事件驅(qū)動(dòng)的AIOps體系，用戶可以將事件作為統(tǒng)一的驅(qū)動(dòng)數(shù)據(jù)源進(jìn)行問題的發(fā)現(xiàn)、觸達(dá)以及AI智能化運(yùn)維操作的橋梁。

　　基于ACK可觀測(cè)能力建設(shè)ITOps體系

　　報(bào)警中心會(huì)為用戶提供統(tǒng)一配置，幫助用戶快速建立異常診斷的規(guī)則，構(gòu)建運(yùn)維ITOps體系。它可以提供以下功能：

　　開箱即用報(bào)警中心能力;

　　支持配置靈活規(guī)則訂閱關(guān)系，快速建立ITOps體系;

　　異常分類對(duì)應(yīng)常見問題SOP處理流程，縮短故障處理時(shí)間。

　　基于ACK可觀測(cè)能力建設(shè)FinOps體系

　　越來越多的用戶在上云階段或上云后治理階段的降本增效問題，主要存在規(guī)劃難、計(jì)費(fèi)難、分賬難、優(yōu)化難、管理難的痛點(diǎn)。

　　ACK提供了云原生企業(yè)IT成本治理的方案，主要具備以下特性：

　　獨(dú)有的云原生容器場(chǎng)景成本分?jǐn)偱c估算模型;

　　多維度的成本洞察、趨勢(shì)預(yù)測(cè)、根因下鉆;

　　全場(chǎng)景的成本優(yōu)化能力、解決方案的覆蓋;

　　企業(yè)云原生IT成本治理的專家服務(wù);

　　全場(chǎng)景的成本優(yōu)化能力、解決方案的覆蓋。

　　客戶案例實(shí)踐

　　中華財(cái)險(xiǎn)正在歷經(jīng)IT數(shù)字化轉(zhuǎn)型，通過和阿里云深度合作，在進(jìn)行企業(yè)云原生上云的過程中，完成了大量多租戶SaaS化業(yè)務(wù)的微服務(wù)化和容器化。

　　客戶痛點(diǎn)

　　在云原生化的過程中，中華財(cái)險(xiǎn)需要在千核級(jí)別規(guī)模的集群中，同時(shí)管理運(yùn)維多個(gè)SaaS化的線上業(yè)務(wù)，具有高度多租戶、對(duì)業(yè)務(wù)穩(wěn)定性要求高、對(duì)業(yè)務(wù)資源/成本趨勢(shì)敏感度高等行業(yè)特點(diǎn)。在云原生化過程中也面對(duì)了多租戶業(yè)務(wù)容量規(guī)劃難、算清成本難、閑置/浪費(fèi)資源難發(fā)現(xiàn)、資源成本優(yōu)化與業(yè)務(wù)穩(wěn)定性難平衡等挑戰(zhàn)。

　　解決方案

　　使用壓測(cè)服務(wù)PTS壓測(cè)實(shí)際業(yè)務(wù)場(chǎng)景，有理有據(jù)進(jìn)行容量預(yù)算規(guī)劃;

　　使用費(fèi)用中心/ACK成本分析清晰進(jìn)行業(yè)務(wù)單元的成本拆分與分析，實(shí)現(xiàn)云原生環(huán)境下業(yè)務(wù)單元賬算得清;

　　使用ACK成本分析發(fā)現(xiàn)并優(yōu)化閑置浪費(fèi)資源，逐步優(yōu)化調(diào)整應(yīng)用資源分配，持續(xù)收斂集群閑置資源;

　　細(xì)粒度容器化部署，根據(jù)業(yè)務(wù)量拆分應(yīng)用成多個(gè)細(xì)粒度副本，根據(jù)業(yè)務(wù)實(shí)時(shí)流量彈性擴(kuò)容來細(xì)粒度分配實(shí)際資源，資源成本分配更合理，更少資源浪費(fèi);

　　核心應(yīng)用保質(zhì)保量，設(shè)置節(jié)點(diǎn)親和，預(yù)留干擾預(yù)算，避免資源爭(zhēng)搶等造成業(yè)務(wù)影響，保證生產(chǎn)業(yè)務(wù)質(zhì)量。

　　某集群中業(yè)務(wù)應(yīng)用成本分布與閑置率

　　某集群中業(yè)務(wù)應(yīng)用的浪費(fèi)情況發(fā)現(xiàn)分析

　　優(yōu)化效果

　　擁有多個(gè)千核級(jí)別規(guī)模的生產(chǎn)集群，資源浪費(fèi)情況從上云前的30%+閑置率，逐步優(yōu)化最終達(dá)到壓制到平均10%資源閑置率以下，部分穩(wěn)定業(yè)務(wù)集群甚至可以做到5%以下資源閑置率。中華財(cái)險(xiǎn)的上云IT成本治理工作也榮獲信通院2022年度云管和云網(wǎng)優(yōu)秀案例，為金融保險(xiǎn)行業(yè)云計(jì)算技術(shù)的更有效應(yīng)用，起到了引領(lǐng)和示范作用。

　　總結(jié)

　　阿里云ACK可觀測(cè)體系建設(shè)經(jīng)過多年的技術(shù)沉淀積累，已經(jīng)在生產(chǎn)環(huán)境上得到了大量客戶驗(yàn)證，對(duì)于提高服務(wù)的可觀察性有著非常寶貴豐富的經(jīng)驗(yàn)，客戶通過對(duì)它的使用可以顯著提高運(yùn)維效果，為系統(tǒng)運(yùn)行更好的保駕護(hù)航。