火山引擎全棧云原生架構(gòu)實踐

　　12 月 2 日，火山引擎「新云·共未來」云產(chǎn)品發(fā)布會在上海成功召開�；鹕揭�擎云原生產(chǎn)品負責人鄧德源帶來了主題為《火山引擎全棧云原生架構(gòu)實踐》的分享

　　以下為演講正文：

　　大家好，我是火山引擎云原生產(chǎn)品負責人鄧德源，今天非常榮幸能夠給大家?guī)�來云原生的技術分享。接下來我將為大家分享我們的云原生架構(gòu)如何為字節(jié)跳動的業(yè)務提供安全、穩(wěn)定、連續(xù)的服務，并通過火山引擎云原生實踐和案例解讀，分享我們對云原生未來發(fā)展的思考。

　　字節(jié)跳動云原生發(fā)展歷程

　　字節(jié)跳動的云原生發(fā)展歷程大致經(jīng)歷了 4 個階段。

　　第一階段是 2016-2017 年間，開始嘗試實踐 Docker & Kubernetes。

　　從 2016 年開始，字節(jié)跳動啟動了Kubernetes v1.4 的開發(fā)測試上線，并不斷完善周邊基礎設施建設，如基于 Consul 實現(xiàn)服務發(fā)現(xiàn)等。

　　第二階段是 2017-2018 年間，公司業(yè)務全面實現(xiàn)了微服務化，為后續(xù)全面云原生化奠定了基礎。

　　在這一階段，我們基于微服務化的痛點，啟動了對 Service Mesh 的調(diào)研和實現(xiàn)，主要場景是安全業(yè)務推廣;同期，我們也不斷加強云原生鏈路觀測能力，實現(xiàn)了監(jiān)控日志一體化分析平臺，初步解決了大規(guī)模服務下的服務問題診斷。

　　第三階段 2019-2020 年，字節(jié)跳動實現(xiàn)了核心業(yè)務的云原生化。基于前一階段的微服務化成果，團隊逐步啟動了核心業(yè)務的云原生化，并獲得了 3 個標志性里程碑：

　　• 基于容器化調(diào)度平臺，實現(xiàn)了在離線業(yè)務的統(tǒng)一管理和調(diào)度，將容器平臺作為業(yè)務統(tǒng)一入口，并且實現(xiàn)了資源利用率的大范圍提高;

　　• 完成了業(yè)務 Mesh 化的全覆蓋，同時非 Mesh 化業(yè)務也能夠通過服務框架的形式共存;

　　• 函數(shù)計算全面上量，支持大規(guī)模消費類場景，并涵蓋了新興場景，如云邊一體化。

　　第四階段是 2021 年，字節(jié)跳動所有業(yè)務均已經(jīng)實現(xiàn)了全面云原生化，并且基于云原生基礎設施，成功支持了春晚活動，充分驗證了其穩(wěn)定性和彈性能力。

　　今年年初，為了優(yōu)化存儲的運維效率，同時釋放計算資源，我們開啟了數(shù)據(jù)庫、緩存等中間件的改造，系統(tǒng)全面走向了整合化�；�于平臺化的基礎設施，我們也在深度地向智能化、實時化、分離化等方向全面演進。

　　截止目前，字節(jié)跳動已經(jīng)建設了完善的云原生基礎設施：擁有 200 多個生產(chǎn)集群，共計 50 萬節(jié)點，最大集群節(jié)點數(shù)上萬，容器數(shù)超過 1000萬;有 10 萬多在線微服務，平均每日變更數(shù)達 2 萬次，離線任務數(shù)超過 1.4 億。

　　這個時候，我們開始問自己一些問題：字節(jié)跳動的理念是獨一無二的嗎?我們的實踐是否是不可復制的?我們豐富的云原生實踐，如何能夠普惠萬千企業(yè)?

　　火山引擎云原生架構(gòu)設計理念與實踐

　　根據(jù)國家“十四五”規(guī)劃，到 2025 年，國內(nèi)數(shù)字經(jīng)濟占比將達到 GDP 的 10%，企業(yè)新增生產(chǎn)級云原生應用在新應用的占比將從 2020 年的10% 增加到 60%。數(shù)字經(jīng)濟與實體經(jīng)濟的融合已經(jīng)成為不可逆轉(zhuǎn)的趨勢。

　　那么，作為近年來增速最快的企業(yè)之一，字節(jié)跳動的云原生架構(gòu)體系是如何全面、有機地跟隨業(yè)務的快速發(fā)展的?這離不開我們設計基礎架構(gòu)的核心理念和原則。

　　基礎設施：平臺化 → 智能化。平臺化從另一個角度看即是服務化，當基礎設施平臺化且有聚集效應時，企業(yè)才有足夠的體量往下推演;同時隨著數(shù)據(jù)和經(jīng)驗的積累，企業(yè)也能進一步衍生出智能化能力，包括智能調(diào)度、智能運維等。

　　系統(tǒng)架構(gòu)：垂直化 → 整合化�；�于業(yè)務發(fā)展的速度，我們針對某些場景，例如推薦廣告搜索，實現(xiàn)了相對垂直的管控能力;同時，我們的在線和離線能夠整合，批處理和流處理能夠一體化，異構(gòu)資源能夠做到統(tǒng)一調(diào)度。從垂直到整合，這是一個逐步收攏的過程。

　　基礎組件：規(guī)�；� → 實時化。規(guī)模化推動的是以量取勝、實時化推動的是以質(zhì)取勝。規(guī)模化階段業(yè)務不斷上量，資源成倍增加，而實時化的演進迫使我們?nèi)プ黾毩６鹊膬?yōu)化，例如我們在軟硬結(jié)合、內(nèi)存計算方向的探索，在降本提效上都有顯著的效果。

　　研發(fā)體系：敏捷化 → 現(xiàn)代化。我們不僅提倡敏捷化快速交付的能力，還不斷實踐現(xiàn)代化應用的構(gòu)建。所謂現(xiàn)代化，一方面意味著應用構(gòu)建更深入地走向移動化和低代碼化，另一方面則是在應用的容災和遷移能力上能夠更深層地做到無感知。

　　業(yè)務觸點：中心化 → 分離化。這是一個逐步建設多云、混合云、云端一體化能力的過程，我們所服務的業(yè)務遍布各地，這些業(yè)務所服務的客戶同樣遍布各地，我們期望基礎架構(gòu)能夠在計算、存儲、數(shù)據(jù)方面都具備分布式的能力，支持業(yè)務提供更廣泛的服務。

　　事實證明，云原生為上述理念提供了一條最佳的實踐路徑。云原生強調(diào)自動化、高彈性、可擴展，同時提供了一整套圍繞這個思想的工具鏈和規(guī)范。

　　而作為字節(jié)跳動旗下的企業(yè)級技術服務平臺，火山引擎抽象了字節(jié)跳動在硬件、存儲、安全、業(yè)務、開發(fā)、運維等多個場景下的云原生實踐思想，推出了包含上層解決方案和中層基礎產(chǎn)品服務的云原生全系產(chǎn)品。

　　火山引擎云原生產(chǎn)品與解決方案

　　火山引擎云原生產(chǎn)品重點圍繞 5 個方向完善產(chǎn)品矩陣，分別是云原生系統(tǒng)、開發(fā)態(tài)、交付態(tài)、運行態(tài)以及安全運維。

　　其中，「云原生系統(tǒng)」包含最基礎的容器服務和鏡像倉庫兩大核心產(chǎn)品，沉淀了字節(jié)跳動數(shù)年來建設容器平臺的經(jīng)驗，除基本應用托管能力外，還提供高穩(wěn)定、高性能、自運維等能力，旨在為企業(yè)提供最堅實的底座�；鹕揭�擎的上層產(chǎn)品大多都圍繞這兩款產(chǎn)品構(gòu)建，例如函數(shù)服務、持續(xù)交付、應用觀測、湖倉一體的大數(shù)據(jù)分析服務、機器學習平臺。許多內(nèi)部業(yè)務系統(tǒng)，如抖音電商、商業(yè)化開放平臺，也都基于這款容器產(chǎn)品構(gòu)建其業(yè)務系統(tǒng)。

　　基于應用生命周期拆解，我們新劃分了「開發(fā)、交付和運行態(tài)」，其核心是解決應用現(xiàn)代化過程中所遇到的問題。首次發(fā)布的產(chǎn)品體系可以支撐企業(yè)業(yè)務架構(gòu)升級以及打通重點場景的原子產(chǎn)品，其中既包含代碼倉庫、應用平臺這類可以支撐應用快速開發(fā)的產(chǎn)品，也包含持續(xù)交付、制品倉庫等提升敏捷化和統(tǒng)一交付能力的產(chǎn)品，也有服務網(wǎng)格、應用觀測、應用韌性這類可以從流量、監(jiān)控、演練等方面保障業(yè)務平穩(wěn)運行的產(chǎn)品。

　　最后，在「安全與運維」層面，火山引擎重點構(gòu)建了以云堡壘機和云命令行為主的安全運維通道，以及以 IaC 為核心的自動化運維能力，結(jié)合應用全生命周期托管能力，提供安全且自動化的云原生體驗。

　　解決方案主要包括「業(yè)務架構(gòu)升級」和「重點場景使能」兩方面。其中，「業(yè)務架構(gòu)升級」主要針對業(yè)務的多云部署、新一代的微服務架構(gòu)以及面向下一代的無服務器架構(gòu)展開�！钢攸c場景使能」則是輸出字節(jié)跳動快速發(fā)展的核心路徑：當前，大多數(shù)企業(yè)現(xiàn)在已經(jīng)進入轉(zhuǎn)型的深水區(qū)，業(yè)務和架構(gòu)復雜性并非單款產(chǎn)品所能解決的;相較于產(chǎn)品能力零散的輸出，所有產(chǎn)品力的構(gòu)建都圍繞著核心場景完成。

　　云原生的基礎底座：容器

　　此次火山引擎推出的云原生容器系統(tǒng)類產(chǎn)品包括容器服務和鏡像倉庫，提供最基礎的容器化平臺，主要有四個特點：

　　按需彈性：容器服務底層基于彈性計算和彈性容器兩類計算引擎，其中彈性容器主打彈性場景，根據(jù)實測數(shù)據(jù)，它可以支持容器的秒級啟動，30 秒滿足近萬核的擴容需求。

　　• 系統(tǒng)層采用精簡 Hypervisor 和 Kernel，裁剪掉多余功能，僅保留核心能力，兼容性得到了內(nèi)部業(yè)務的廣泛驗證;

　　• 管控層針對核心創(chuàng)建鏈路做異步和緩存，無需每次額外申請 ENI 和 EBS 資源;

　　• 采用快照和按需加載的能力，將鏡像加載速度降低到毫秒內(nèi)。

　　性能優(yōu)化：容器和虛擬機運行時全面基于自研網(wǎng)卡和自研 vSwitch，相比開源方案，火山引擎軟硬一體化的方案在PPS、延遲和帶寬具有近 2到 3 倍的提升，單機容器密度近千。存儲 IO 上采用自研協(xié)議棧，深度優(yōu)化數(shù)據(jù)拷貝路徑，實現(xiàn)用戶態(tài)協(xié)議和全鏈路零拷貝，性能相對原生IO 提升了 5 倍。

　　安全可靠：VKE 支持同一集群同時運行 runC 和 runV 容器，用戶可以按照隔離需求來選擇不同的運行時。Kubernetes 完全由平臺托管，默認采用 CIS 等安全規(guī)范，由平臺確保 Kubernetes 的安全和運維，免除用戶管理成本。

　　隨處可及：在設計之初，我們就意識到了系統(tǒng)可擴展能力的重要性，確定了同源架構(gòu)的路線。一方面通過同一套基礎底座實現(xiàn)隨處部署，另外通過同一套產(chǎn)品能力提供無縫的體驗。接口上做到 Kubernetes 100% 的兼容，已經(jīng)使用 Kubernetes 的用戶可以實現(xiàn)無縫遷移。

　　云原生的中堅力量：服務治理

　　為保障云原生應用全生命周期的敏捷和穩(wěn)定，字節(jié)跳動圍繞研發(fā)效率、運行效率和穩(wěn)定性三個方面，實現(xiàn)了一系列平臺和服務來保障服務治理能力的有效落地，解決了易用性和快速迭代的問題、性能和成本的問題，并保障了觀測、安全和運行時的穩(wěn)定。

　　在本次云產(chǎn)品發(fā)布會上，我們主要推出 API 網(wǎng)關、服務網(wǎng)格、應用觀測服務、應用韌性服務和持續(xù)交付。下圖介紹了每個產(chǎn)品的原子能力，這里我圍繞幾個實際的場景來介紹它們所服務的一些場景。

　　敏捷迭代：隨著企業(yè)業(yè)務、規(guī)模的不斷發(fā)展擴張，項目復雜度提高，研發(fā)進度變慢和交付質(zhì)量下降不可避免。結(jié)合持續(xù)交付、應用觀測服務和容器服務，火山引擎可以幫助企業(yè)實現(xiàn)可灰度、可觀測、可回滾的能力：通過持續(xù)交付完成代碼上線，通過應用觀測實現(xiàn)實時監(jiān)控，通過容器服務完成快速回滾，所有操作一氣呵成。此外，這些流程都可以通過應用韌性服務來進行實時的演練。

　　零信任網(wǎng)絡：零信任假設無論在網(wǎng)絡邊界內(nèi)部還是外部，都不存在任何隱含的信任。換句話說，任何地方都需要顯式認證，并使用最小權(quán)限原則來限制對資源的訪問。因為有海外團隊在業(yè)務合規(guī)經(jīng)驗上的積累和交流，我們對零信任有非常深度的實踐。最初我們實現(xiàn)了 JWT Token之間任務互訪，現(xiàn)在已逐漸遷移到以云原生技術 SPIFFE 為標準，同時以 API 網(wǎng)關、服務網(wǎng)格和容器服務作為基礎實現(xiàn)的方案。基于這些實踐，火山引擎可以為企業(yè)提供專家級安全保障。

　　全鏈路監(jiān)控：微服務架構(gòu)的復雜性為運維工作帶來了很大挑戰(zhàn)。為了實現(xiàn)對復雜微服務的監(jiān)控，火山引擎在微服務中添加埋點，可采集指標、日志、分布式鏈路等多種數(shù)據(jù)，實現(xiàn)對業(yè)務立體化的監(jiān)控。

　　全場景接入：我們在服務治理上的一個亮點是針對不同的場景實現(xiàn)場景化的接入。服務網(wǎng)格在字節(jié)跳動的第一個落地場景是安全，通過為每個業(yè)務配置安全 Sidecar 的模式，我們實現(xiàn)了對業(yè)務風險控制的能力�；�于此，我們演化出通用 Sidecar 模式，接入了數(shù)據(jù)庫 DB Mesh、A/B測試，所有的接入對業(yè)務而言都無感知、無侵入。

　　云原生的極致形態(tài)：Serverless

　　除了容器系統(tǒng)和服務治理兩類產(chǎn)品體系，圍繞「業(yè)務架構(gòu)升級」，火山引擎也推出了一些 Serverless 和多云產(chǎn)品。它們是火山引擎正在經(jīng)歷且未來演進的方向。

　　Serverless 的價值是什么?云的本質(zhì)就是規(guī)�；�經(jīng)濟，通過按需付費、彈性伸縮和免運維來釋放企業(yè)的生產(chǎn)力，但現(xiàn)在云的形態(tài)做得還不夠透徹。我們按「資源」需求付費，而不是「業(yè)務」需求付費;我們的彈性還處在準實時階段，而且很多業(yè)務因為架構(gòu)或者周邊生態(tài)問題還無法享受到彈性能力;最后在運維上，云僅免去了物理層運維，但復雜度上移到了虛擬化層。如果能在這三個方面做到極致，企業(yè)的成本和可用性可以得到長足的優(yōu)化。

　　Serverless 不是簡單的工具或框架，而是一種軟件架構(gòu)思想和方法，涉及面比較廣，但我們認為這種思想下的軟件架構(gòu)將是云原生走向極致的一種形態(tài)�；鹕揭�擎目前已經(jīng)是 Serverless 的深度實踐者，我們走向 Serverless 總共有 4 個大目標：業(yè)務 Serverless 化、開發(fā) Serverless化、資源Serverless 化、運維 Serverless 化。

　　• 業(yè)務 Serverless 化：99% 以上業(yè)務負載 Serverless 化，包括微服務、函數(shù)、定時任務、計算類任務、機器學習及 AI 任務。

　　• 開發(fā) Serverless 化：Serverless 形態(tài)對開發(fā)者而言缺乏友好型，這里我們以 CloudIDE、FaaS Native、Remote Debuging 等能力來服務開發(fā)者，很大程度上緩解了開發(fā)排障效率低的問題。

　　• 資源 Serverless 化：如前所述，目前全部負載基于容器服務和彈性容器，并開放混合調(diào)度能力，對平臺而言資源利用最大化，對我們上層客戶而言成本達到了最優(yōu)化。

　　• 運維 Serverless 化：Serverless 帶來的一個顯而易見的好處是用戶免運維，無需管理基礎設施;但從另外一個角度來看，Serverless 規(guī)范化架構(gòu)和彈性能力，更能進一步確保系統(tǒng)高可用性。

　　在 Serverless 層面，火山引擎目前主要圍繞「應用平臺」和「函數(shù)服務」進行能力輸出。其中應用平臺本質(zhì)是一套基于容器服務的應用托管平臺，支持更多高級的能力比如全鏈路灰度部署、單 AZ、多 AZ 部署策略等;火山引擎函數(shù)服務則已經(jīng)支持大量應用場景，例如小程序開發(fā)、評論離線流、游戲技術中臺、紅包雨活動、飛書在線面試等。

　　多云原生：應用與資源的多云化

　　上午主會場提到幾個數(shù)據(jù)，92% 的企業(yè)都會使用多云，未來一定是多云的時代。目前企業(yè)實踐多云的路徑依然很漫長，而部分已經(jīng)“采用”多云的企業(yè)，內(nèi)部也儼然形成了一種新的「煙囪式」建設形態(tài)。

　　當我們談多云的時候，很多時候大家都會想到 CMP，就是云管平臺：用一個管理軟件將多個云的資源層納管到一起，再加上一些權(quán)限管理、賬號對接等功能。這只是從運維管理基礎云資源的角度來納管，再極端一點，只是將資源顯示在一個控制面板上。云管并不是真正意義上的多云：一方面各個云的接口差異很大，難以適配;另一方面，云服務很多，云管要接入的服務范圍很難框定。

　　火山引擎秉持著「開放共享的云」的理念，深度實踐了多云基礎設施。我們推出的多云產(chǎn)品的核心是將容器服務集群管理的能力延伸到本地數(shù)據(jù)中心或云服務商 IaaS 之上，同時支持納管自建集群，實現(xiàn)面向應用的多云容器平臺統(tǒng)一控制平面。

　　VKE 向外延伸的能力我們統(tǒng)稱為 VKE Anywhere，支持用戶導入現(xiàn)有 Kubernetes 集群——無論是來自 IDC 或公有云資源自建集群，還是通過云托管的集群—— 我們都能夠一并支持。VKE Anywhere 同時支持托管集群，即通過 VKE Anywhere 來創(chuàng)建 Kubernetes 集群，底層可基于不同類型的環(huán)境。VKE Anywhere 與 VKE 完全同源同構(gòu)，對上保持完全一致的 API 結(jié)構(gòu)，上層產(chǎn)品無需改造即可接入 VKE Anywhere，可以根據(jù)客戶場景實現(xiàn)產(chǎn)品的靈活封裝。本次發(fā)布我們以應用開發(fā)交付為主，上層引入包括鏡像倉庫、持續(xù)交付、服務網(wǎng)格、應用觀測服務等產(chǎn)品，同時還引入了應用市場支持企業(yè)內(nèi)部應用快速分發(fā)。

　　多云控制面支持多集群聯(lián)邦、全局服務發(fā)現(xiàn)和負載均衡等全局管控能力，可以根據(jù)用戶需求部署在任意數(shù)據(jù)中心，通過專線或者 VPN 方式互聯(lián)�；鹕揭�擎內(nèi)部對多云的實踐效果顯著，我們當前已經(jīng)創(chuàng)建了 3 個聯(lián)邦集群，底層納管了 10+ Kubernetes 集群，共支持 100k+ 節(jié)點。

　　結(jié)語

　　火山引擎的發(fā)展離不開客戶的支持。

　　目前國信證券的金太陽服務證券交易應用、資產(chǎn)運營管理業(yè)務、投行/風控/開戶等業(yè)務，均運行在火山引擎的容器云平臺上。我們的容器平臺核心能力支撐了國信證券基礎設施的平臺化：統(tǒng)一資源管理方面，我們?yōu)槠浣ㄔO了資源審批到上線的全部流程;交易應用基于容器服務全托管，實現(xiàn)了自愈、彈性伸縮、快速回滾等能力;平臺系統(tǒng)對接上，通過一些列擴展點，打通了核心系統(tǒng)的對接。

　　在 2021 年中國信息通信研究院發(fā)布的 DevOps 標準持續(xù)交付第十二批評估結(jié)果中，國信證券金太陽資訊中臺順利通過《研發(fā)運營一體化(DevOps)能力成熟度模型》持續(xù)交付 3 級評估，標志著其持續(xù)交付能力達到國內(nèi)領先水平。同時，國信證券也是全國第三家通過持續(xù)交付 3 級評估的券商。

　　未來我們也將繼續(xù)努力，打磨更加優(yōu)秀的產(chǎn)品，將更多的內(nèi)部實踐輸出到客戶手上，謝謝大家。