2022年第一季度,在Forrester發(fā)布的公共云容器平臺分析師報告中,阿里云容器服務(wù)ACK進(jìn)入領(lǐng)導(dǎo)者象限,ACK的可觀測能力得到了分析師的高度肯定。由此可見,可觀測性已經(jīng)成為構(gòu)建用戶IT系統(tǒng)運(yùn)維體系的重要能力。
2022年8月9日,CSDN云原生系列在線峰會第15期“Prometheus峰會”上,阿里云容器服務(wù)團(tuán)隊可觀測體系負(fù)責(zé)人馮詩淳分享了阿里云ACK容器服務(wù)生產(chǎn)及可觀測體系的建設(shè)與實踐。
ACK可觀測性體系
上圖是ACK可觀測體系的全景圖金字塔,從上至下可以分為4層。
Business Monitoring業(yè)務(wù)監(jiān)控,包括用戶業(yè)務(wù)的前端流量、PV、前端性能、JS 響應(yīng)速度等監(jiān)控。通過容器服務(wù)的 Ingress Dashboard 來監(jiān)測 Ingress的請求量以及請求的狀態(tài),用戶可以定制業(yè)務(wù)日志,通過容器服務(wù)的日志監(jiān)控實現(xiàn)業(yè)務(wù)的自定義監(jiān)控。
Application Performance Monitoring應(yīng)用監(jiān)控,由ARMS APM產(chǎn)品提供用戶Java Profiling和Tracing等能力,也支持OpenTracing和OpenTelemetric協(xié)議的多語言監(jiān)控方案。
Container Monitoring容器監(jiān)控,包括容器的集群資源、容器Runtime層、容器引擎以及容器集群的穩(wěn)定性。使用阿里云Prometheus在一張Global View的大盤中展示不同集群層面的資源、應(yīng)用、水位、云資源等,也包括事件體系和日志體系。
Infrastructure Monitoring基礎(chǔ)資源監(jiān)控,包括不同的云資源、虛擬化層、操作系統(tǒng)內(nèi)核層等,容器層和基礎(chǔ)架構(gòu)層都可以使用基于eBPF的無侵入式架構(gòu)和K8s監(jiān)控能力做網(wǎng)絡(luò)和調(diào)用的Tracing。
可觀測體系的每一層都和可觀測的三大支柱Logging、Tracing、Metrics有著不同程度的映射。
場景一:異常診斷場景的可觀測能力實踐
上圖為用戶的異常診斷案例,線上系統(tǒng)流量由朝九晚五的不同業(yè)務(wù)發(fā)生波谷,造成應(yīng)用跟隨波峰波谷產(chǎn)生水位波動。以下是業(yè)務(wù)流量激增引起異常的診斷過程:
收到容器報警后快速反應(yīng),對核心業(yè)務(wù)的Pod進(jìn)行重啟或擴(kuò)容,查找問題根因;
通過Ingress Dashboard從入口流量自上而下進(jìn)行分析,發(fā)現(xiàn)對外業(yè)務(wù)成功率下降并出現(xiàn)4XX返回碼請求;
結(jié)合資源以及負(fù)載層面,發(fā)現(xiàn)是由于朝九晚五的流量導(dǎo)致水位負(fù)載,早上9點(diǎn)存在和故障對齊的明顯水位飆升,這是故障所在;
系統(tǒng)第一時間褒獎核心業(yè)務(wù)Pod定位,結(jié)合業(yè)務(wù)日志進(jìn)行分析,找到異常日志的輸出;
結(jié)合ARMS Java的APM應(yīng)用監(jiān)控,定位到緩存Bug是由于上午9點(diǎn)業(yè)務(wù)流量的飆升導(dǎo)致,造成了頻繁的數(shù)據(jù)庫讀寫;
通過修復(fù)Bug,徹底閉環(huán)整個異常。
上述流程是一個典型的貫穿整個ACK可觀測不同能力的異常診斷排查過程,通過它我們可以更好地理解ACK可觀測體系是如何相互工作和相互協(xié)調(diào)的。
ACK可觀測體系——事件體系
異常診斷發(fā)現(xiàn)問題最快、也是經(jīng)常容易被人忽略的手段是在Logging體系的事件體系。
ACK可觀測體系在社區(qū)的事件體系之上進(jìn)行了增強(qiáng),做到了事件體系的全覆蓋,包含K8s應(yīng)用事件、集群Ops事件、集群核心組件事件、K8s Runtime事件、操作系統(tǒng)/內(nèi)核異常事件、基礎(chǔ)設(shè)置平臺事件。
ACK提供了開箱即用的事件中心能力,能夠一鍵開啟事件中心;強(qiáng)大且靈活易用的數(shù)據(jù)分析能力,為后面基于事件驅(qū)動的Ops體系提供了基礎(chǔ)。
ACK K8s集群更多的是對資源的生命周期進(jìn)行管控,事件中心也提供了以數(shù)據(jù)為錨點(diǎn)的資源生命周期監(jiān)管控能力,可以對生命周期中最重要的幾個時間點(diǎn)進(jìn)行性能的調(diào)試優(yōu)化以及對異常Pod狀態(tài)快速反應(yīng)。
ACK可觀測體系——日志體系
事件體系的父類日志體系Logging在可觀測體系中的主要使用場景有以下幾種:
ACK的日志體系中默認(rèn)提供了Ingress等重要場景的默認(rèn)大盤,可以在一鍵接入Ingress大盤后快速查看集群Ingress的流量,包括PV、UV以及應(yīng)用異常狀態(tài)等;
ACK的日志體系提供了審計日志大盤,可以快速分析集群資源的訪問和使用軌跡,針對未授權(quán)的訪問可進(jìn)行預(yù)警和報警,為集群提供更安全的環(huán)境;
提供云原生無侵入式的日志獲取方式,用戶可以便捷地將日志采集到日志中心,進(jìn)而享受日志中心多維且強(qiáng)大的分析能力。
ACK可觀測體系——Metric體系
Metric體系是做穩(wěn)定性保障和性能調(diào)優(yōu)時最常用的體系。水位等指標(biāo)都可以通過大盤直觀地展示給用戶。
產(chǎn)品側(cè)預(yù)制了ARMS Prometheus大盤產(chǎn)品,購買ACK K8s集群后可以一鍵開啟Prometheus大盤,它包含了大量業(yè)務(wù)運(yùn)維成熟經(jīng)驗的沉淀。
ACK集群控制面的核心組件API Server、ETCD、CCM等也做了指標(biāo)加強(qiáng),ACK Pro群不僅負(fù)責(zé)托管主核心組件、維護(hù)集群的SLA,同時也會將透明指標(biāo)性能暴露給用戶,讓用戶可以安心使用。
場景二:穩(wěn)定性保障——ACK助力2022冬奧會圓滿平穩(wěn)舉行
指標(biāo)場景是穩(wěn)定性保障的重要支持能力。ACK為2022年冬奧會服務(wù),助力冬奧圓滿平穩(wěn)舉行。ACK集群中部署了冬奧的多個核心業(yè)務(wù)系統(tǒng),包括冬奧的國際官網(wǎng)、比賽場館、票務(wù)系統(tǒng)等,為多個核心系統(tǒng)保駕護(hù)航。
核心系統(tǒng)多為Java系微服務(wù)架構(gòu),實際使用時有近千個Deployment實例。通過引入壓測的方式進(jìn)行容量評估,同時配合為冬奧定制首屏運(yùn)維大盤,實時跟進(jìn)應(yīng)用狀態(tài),為集群的穩(wěn)定性提供保障。
場景三:生產(chǎn)級規(guī)模集群穩(wěn)定性保障實踐
用戶的生產(chǎn)系統(tǒng)規(guī)模很大,在節(jié)點(diǎn)集群規(guī)模達(dá)到千級別后,用戶在集群上進(jìn)行密集、大規(guī)模的集群資源訪問,極易出現(xiàn)集群穩(wěn)定性的問題。
比如,用戶在大規(guī)模集群中頻繁密集地訪問集群資源,會使APIServer,API Server的Mutating請求量較高,負(fù)載過高會導(dǎo)致出現(xiàn)丟棄請求的情況,影響用戶業(yè)務(wù)的發(fā)布或用戶的變更。
再者,密集的集群資源訪問也可能打滿APIServer帶寬,API Server的請求延時,RT會升至高位,一次API的訪問可能需要幾十秒,這會嚴(yán)重影響用戶業(yè)務(wù),同時,API Server的只讀請求數(shù)也會飆升。
診斷路徑主要分為以下三個步驟:
問題快速發(fā)現(xiàn),依據(jù)API Server指標(biāo)水位進(jìn)行問題定位;
根因快速定位,依據(jù)API Server訪問日志定位問題瓶頸應(yīng)用;
止血/閉環(huán)問題,停止/優(yōu)化應(yīng)用的List Watch資源行為、性能。
ACK可觀測體系——Prometheus For ACK Pro
阿里云近期推出了Prometheus For ACK Pro,它是Prometheus的升級服務(wù),包含一組符合關(guān)聯(lián)分析邏輯且可交互的大盤,包括標(biāo)準(zhǔn)輸出日志、集群事件、eBPF無侵入式應(yīng)用指標(biāo)、系統(tǒng)指標(biāo)、網(wǎng)絡(luò)指標(biāo)等數(shù)據(jù)源。用戶可以通過一張大盤的關(guān)聯(lián)分析邏輯,從總覽到細(xì)節(jié),通過多數(shù)據(jù)源、多角度的可觀測能力進(jìn)行不同角度的排查。
ACK可觀測體系——Tracing體系
應(yīng)用層Trace
在ACK可觀測體系里,Tracing體系提供了定位問題根因的能力。應(yīng)用層的Tracing提供ARMS APM能力,支持OpenTracing、OpenTelemetry 協(xié)議,可以支持多種語言的應(yīng)用。
針對Java提供無侵入式的APM能力,也支持Profiling以及代碼堆棧級的調(diào)用監(jiān)控能力。不同語言可以匯聚成同一張分布式調(diào)用追蹤大圖,自上而下地查看一次分布式調(diào)用,從而定位、診斷問題。
集群網(wǎng)絡(luò)、調(diào)用Trace
阿里云基于eBPF能力的網(wǎng)絡(luò)層Tracing具有以下特點(diǎn):
基于eBPF插樁技術(shù),內(nèi)核層面、零代碼改動、低性能消耗;
全局拓?fù)淇焖俣ㄎ徽{(diào)用鏈異常,通過網(wǎng)絡(luò)拓?fù)、資源拓?fù)湔故鞠嚓P(guān)資源的關(guān)聯(lián);
K8s應(yīng)用全局拓?fù)湟暯,包括service/deployment topology and workload-resource mapping;
統(tǒng)一視圖,集合metrics/traces/events/logs,支持可觀測的各種類型數(shù)據(jù)。
基于ACK可觀測能力建設(shè)Ops體系
基于ACK可觀測能力建設(shè)AIOps體系
使用事件驅(qū)動的AIOps體系,用戶可以將事件作為統(tǒng)一的驅(qū)動數(shù)據(jù)源進(jìn)行問題的發(fā)現(xiàn)、觸達(dá)以及AI智能化運(yùn)維操作的橋梁。
基于ACK可觀測能力建設(shè)ITOps體系
報警中心會為用戶提供統(tǒng)一配置,幫助用戶快速建立異常診斷的規(guī)則,構(gòu)建運(yùn)維ITOps體系。它可以提供以下功能:
開箱即用報警中心能力;
支持配置靈活規(guī)則訂閱關(guān)系,快速建立ITOps體系;
異常分類對應(yīng)常見問題SOP處理流程,縮短故障處理時間。
基于ACK可觀測能力建設(shè)FinOps體系
越來越多的用戶在上云階段或上云后治理階段的降本增效問題,主要存在規(guī)劃難、計費(fèi)難、分賬難、優(yōu)化難、管理難的痛點(diǎn)。
ACK提供了云原生企業(yè)IT成本治理的方案,主要具備以下特性:
獨(dú)有的云原生容器場景成本分?jǐn)偱c估算模型;
多維度的成本洞察、趨勢預(yù)測、根因下鉆;
全場景的成本優(yōu)化能力、解決方案的覆蓋;
企業(yè)云原生IT成本治理的專家服務(wù);
全場景的成本優(yōu)化能力、解決方案的覆蓋。
客戶案例實踐
中華財險正在歷經(jīng)IT數(shù)字化轉(zhuǎn)型,通過和阿里云深度合作,在進(jìn)行企業(yè)云原生上云的過程中,完成了大量多租戶SaaS化業(yè)務(wù)的微服務(wù)化和容器化。
客戶痛點(diǎn)
在云原生化的過程中,中華財險需要在千核級別規(guī)模的集群中,同時管理運(yùn)維多個SaaS化的線上業(yè)務(wù),具有高度多租戶、對業(yè)務(wù)穩(wěn)定性要求高、對業(yè)務(wù)資源/成本趨勢敏感度高等行業(yè)特點(diǎn)。在云原生化過程中也面對了多租戶業(yè)務(wù)容量規(guī)劃難、算清成本難、閑置/浪費(fèi)資源難發(fā)現(xiàn)、資源成本優(yōu)化與業(yè)務(wù)穩(wěn)定性難平衡等挑戰(zhàn)。
解決方案
使用壓測服務(wù)PTS壓測實際業(yè)務(wù)場景,有理有據(jù)進(jìn)行容量預(yù)算規(guī)劃;
使用費(fèi)用中心/ACK成本分析清晰進(jìn)行業(yè)務(wù)單元的成本拆分與分析,實現(xiàn)云原生環(huán)境下業(yè)務(wù)單元賬算得清;
使用ACK成本分析發(fā)現(xiàn)并優(yōu)化閑置浪費(fèi)資源,逐步優(yōu)化調(diào)整應(yīng)用資源分配,持續(xù)收斂集群閑置資源;
細(xì)粒度容器化部署,根據(jù)業(yè)務(wù)量拆分應(yīng)用成多個細(xì)粒度副本,根據(jù)業(yè)務(wù)實時流量彈性擴(kuò)容來細(xì)粒度分配實際資源,資源成本分配更合理,更少資源浪費(fèi);
核心應(yīng)用保質(zhì)保量,設(shè)置節(jié)點(diǎn)親和,預(yù)留干擾預(yù)算,避免資源爭搶等造成業(yè)務(wù)影響,保證生產(chǎn)業(yè)務(wù)質(zhì)量。
某集群中業(yè)務(wù)應(yīng)用成本分布與閑置率
某集群中業(yè)務(wù)應(yīng)用的浪費(fèi)情況發(fā)現(xiàn)分析
優(yōu)化效果
擁有多個千核級別規(guī)模的生產(chǎn)集群,資源浪費(fèi)情況從上云前的30%+閑置率,逐步優(yōu)化最終達(dá)到壓制到平均10%資源閑置率以下,部分穩(wěn)定業(yè)務(wù)集群甚至可以做到5%以下資源閑置率。中華財險的上云IT成本治理工作也榮獲信通院2022年度云管和云網(wǎng)優(yōu)秀案例,為金融保險行業(yè)云計算技術(shù)的更有效應(yīng)用,起到了引領(lǐng)和示范作用。
總結(jié)
阿里云ACK可觀測體系建設(shè)經(jīng)過多年的技術(shù)沉淀積累,已經(jīng)在生產(chǎn)環(huán)境上得到了大量客戶驗證,對于提高服務(wù)的可觀察性有著非常寶貴豐富的經(jīng)驗,客戶通過對它的使用可以顯著提高運(yùn)維效果,為系統(tǒng)運(yùn)行更好的保駕護(hù)航。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。