CES 2025亮點(diǎn)有哪些? 來京東預(yù)約享早鳥權(quán)益搶先購新品四次結(jié)緣央視春晚類節(jié)目,雅迪用實(shí)力打贏中國智造“突圍仗”MOVA洗地機(jī)CES 2025首秀 X40 Pro推動家居美學(xué)融合大放異彩!追覓CES 2025完美收官載譽(yù)而歸MOVA在CES 2025盡顯創(chuàng)新實(shí)力 為全球智能家居市場注入新活力1月13日京東3C數(shù)碼“瘋狂星期一”低價來襲 爆款低至5折Perplexity與旅游網(wǎng)站合作 帶來全新酒店信息搜索體驗(yàn)微軟聯(lián)合清北推rStar-Math技術(shù):小型模型逆襲數(shù)學(xué)問題,超越 OpenAI!xAI首款獨(dú)立應(yīng)用Grok上線,在蘋果應(yīng)用商店上架華碩CES 2025新品搶先在京東開啟預(yù)約 1元解鎖超值早鳥權(quán)益東哥同款年貨詞典筆備受關(guān)注 有道詞典筆流量環(huán)比增長超270%全球首列商業(yè)化運(yùn)營碳纖維地鐵列車“CETROVO 1.0 碳星快軌”在青島開啟載客運(yùn)營Linux 基金會提出“Chromium 瀏覽器支持者”計劃,谷歌、微軟、Meta、Opera 紛紛加入廣汽菲克長沙工廠第 5 次拍賣:起拍價降至 9.92 億元接近腰斬,前 4 次均因無人報名而流拍升起獨(dú)立大旗,英特爾旗下可編程芯片子公司 Altera 正式以獨(dú)立子公司身份運(yùn)營商湯科技發(fā)布 “日日新” 融合大模型,與DeepSeek V3不相上下海螺AI推出主體參考功能 一張圖片就能玩轉(zhuǎn)電影大片一加13系列北美歐洲首銷戰(zhàn)報:首小時同比增長167%2024年國游銷量年榜出爐:《黑神話》銷量2800萬穩(wěn)居第一 賺了90億微信官網(wǎng)上線HarmonyOS標(biāo)識!華為鴻蒙已是全球第三大移動操作系統(tǒng)
  • 首頁 > 產(chǎn)經(jīng)新聞頻道 > 業(yè)界新聞

    騰訊開發(fā)者大會 作業(yè)幫呂亞霖:在離線業(yè)務(wù)容器化混合部署是成本節(jié)約利器

    2020年12月23日 13:56:11   來源:中文科技資訊

      12月19日-20日,由騰訊主辦的2020 Techo Park開發(fā)者大會在京舉行,全球200余位頂級技術(shù)專家以及數(shù)千位參會者在大會現(xiàn)場就云計算、大數(shù)據(jù)和人工智能等前沿技術(shù)話題展開深度交流。

      作業(yè)幫基礎(chǔ)架構(gòu)部架構(gòu)方向負(fù)責(zé)人呂亞霖受邀出席本次大會的“企業(yè)IT架構(gòu)云原生的必經(jīng)之路”容器分論壇,并在現(xiàn)場發(fā)表《作業(yè)幫容器化探索和落地實(shí)踐》主題演講,分享作業(yè)幫容器化背景、目標(biāo)、落地、收益及未來規(guī)劃,深入剖析容器在教育行業(yè)落地所面臨的問題、挑戰(zhàn)以及相應(yīng)的高效解決方案。

      云原生技術(shù)架構(gòu)是有效手段,K8S及其生態(tài)是重要抓手

      隨著云原生技術(shù)的成熟和普及,金融、教育、游戲等各個領(lǐng)域越來越多的企業(yè)IT架構(gòu)正在向云原生架構(gòu)轉(zhuǎn)型。在此背景下,作業(yè)幫在技術(shù)和實(shí)踐中所取得的一系列進(jìn)展與成績,成為教育領(lǐng)域企業(yè)云原生上云轉(zhuǎn)型的一大代表,為行業(yè)提供了可供借鑒的成功案例。

      呂亞霖在演講中首先分享了作業(yè)幫技術(shù)體系現(xiàn)狀,他表示,作業(yè)幫自2015年成立至今,一直保持高速增長,尤其是在今年更是實(shí)現(xiàn)了規(guī)模的成倍增長,發(fā)展到現(xiàn)在已擁有數(shù)千個業(yè)務(wù)應(yīng)用、數(shù)萬個應(yīng)用實(shí)例、數(shù)十萬計算核數(shù),未來一段時間內(nèi)將會依然保持增長勢頭。

      而在規(guī)模化加速發(fā)展的同時,作業(yè)幫的復(fù)雜度也在急劇增加。呂亞霖表示,作業(yè)幫已從最開始的拍照搜題工具類型應(yīng)用,演化成教研、工具一體并覆蓋整個教學(xué)領(lǐng)域,涵蓋了從低幼、K12到成人教育的全階段,技術(shù)棧則由PHP、C++演化成涵蓋了現(xiàn)在所有主流語言的多語言棧,由此也面臨著高可用、極致性能、高并發(fā)的一系列問題,在可用性和性能的要求上比大部分互聯(lián)網(wǎng)業(yè)務(wù)要求更加苛刻。

      在業(yè)務(wù)的極速擴(kuò)張下,控制其架構(gòu)復(fù)雜度同時保證業(yè)務(wù)服務(wù)穩(wěn)定性、成本以及效率成為作業(yè)幫容器化的核心問題。對此,呂亞霖指出,用云原生技術(shù)架構(gòu),基礎(chǔ)設(shè)施接管業(yè)務(wù)中大量非功能邏輯,實(shí)現(xiàn)彈性、可觀測、韌性、自動化、可持續(xù)等特性是有效手段,K8S以及其生態(tài)是重要抓手。

      呂亞霖進(jìn)一步闡述了作業(yè)幫容器化層級和其背后的技術(shù)思考,“在虛擬機(jī)時代,應(yīng)用直接運(yùn)行在資源上,所以底層資源的變更對上層應(yīng)用是有感知的,應(yīng)用通過服務(wù)治理手段來保證業(yè)務(wù)的高可用、性能和可擴(kuò)展性,但是建立和運(yùn)維這種體系的成本高昂。而在容器化體系下的云原生架構(gòu),K8S通過對下游資源的抽象,來抹平資源差異和變更,由此資源對上層服務(wù)透明,上層服務(wù)不關(guān)系底層資源的細(xì)節(jié)和變化。同時,對上層應(yīng)用做服務(wù)化,用應(yīng)用框架落地規(guī)范和標(biāo)準(zhǔn),降低接入成本。”

    圖片1.jpg

      CPU高峰調(diào)度應(yīng)根據(jù)未來使用量,日志檢索針對元數(shù)據(jù)

      呂亞霖強(qiáng)調(diào),在容器化落地進(jìn)程中,首先明確業(yè)務(wù)服務(wù)構(gòu)建容器的原則是很重要的,一是避免陷入重大問題缺陷,二是有利于容器生態(tài)的快速接入。

      “容器化落地的內(nèi)核主要是集中在IPVS和Cgroups,內(nèi)核上我們遇到了很經(jīng)典的ipvs reuse mode問題,也有在高并發(fā)下網(wǎng)絡(luò)毛刺的問題,我們通過騰訊tlinux內(nèi)核團(tuán)隊(duì)協(xié)作解決了這些問題。”呂亞霖在大會現(xiàn)場分享了容器化落地的內(nèi)核以及原生K8S優(yōu)化等內(nèi)容。

      “K8S默認(rèn)調(diào)度器有很多不足,比如高峰調(diào)度不均衡問題,我們先后做過均衡調(diào)度,真實(shí)調(diào)度,優(yōu)化后發(fā)現(xiàn)在業(yè)務(wù)deployment時,其實(shí)是均衡的,但是到了高峰時段,又變得不均衡,因?yàn)榇蟛糠謽I(yè)務(wù)場景下CPU高峰增量不是線性的,所以我們的建議是做高峰預(yù)測調(diào)度,不要根據(jù)現(xiàn)在的使用量來調(diào)度,而是要根據(jù)未來的使用量。”

      接下來,呂亞霖進(jìn)一步從容器化落地服務(wù)發(fā)現(xiàn)注冊的控制面和數(shù)據(jù)面進(jìn)行了詳細(xì)說明,他表示,在容器化過渡期間,虛擬機(jī)和容器會并行很長一段時間,所以需要解決老的虛擬機(jī)和容器化互通的問題,從控制面上來看,通過一個控制組件,來監(jiān)聽虛擬機(jī)的名字服務(wù),將服務(wù)注冊到K8S集群的service里,監(jiān)聽其變更,將變更同步到容器。而在數(shù)據(jù)面,容器通過service直接訪問虛擬機(jī),service來做負(fù)載均衡,虛擬機(jī)訪問容器化,則通過一個東西向的ingress服務(wù),訪問容器內(nèi)的服務(wù)單元。

      此外,Service Mesh對于像作業(yè)幫等使用多語言的公司來說優(yōu)勢非常明顯。呂亞霖指出,其優(yōu)勢一是低入侵,業(yè)務(wù)幾乎無感,二是多語言支持,三是與服務(wù)感知的結(jié)合較好。

      資源彈性調(diào)度+在離線混合部署,部分業(yè)務(wù)成本下降43%

      作為資源彈性調(diào)度的重要參考背景,作業(yè)幫容器化落地過程中的時間周期特性十分明顯,高峰時段是平峰時段的20倍,是低峰時段的上百倍,同時流量上升曲線較陡,凌晨到5點(diǎn)前流量較少。此外,遇到寒暑高峰或者期中、期末考試,也會有很大的資源使用量。

      基于這一特性,呂亞霖和團(tuán)隊(duì)主要通過兩種HPA來擴(kuò)縮POD,一個是定時HPA,較為適合時間點(diǎn)明確的業(yè)務(wù),另一個是autoHPA,用來應(yīng)急擴(kuò)縮,防止服務(wù)出現(xiàn)容量問題。同時,底層資源層面則有兩個池子,一個是固定池,里面是裸金屬服務(wù),長時間使用,另一個是動態(tài)池,由一批按需的虛擬機(jī)構(gòu)成,平時處于關(guān)機(jī)狀態(tài),當(dāng)資源緊張時則會開機(jī)加入集群,用來應(yīng)對非預(yù)期的峰值。

      除此之外,在離線業(yè)務(wù)容器化混合部署則成為成本節(jié)約優(yōu)化的一大利器。據(jù)呂亞霖介紹,正常在線業(yè)務(wù)有大量的低負(fù)載時段,作業(yè)幫把大數(shù)據(jù)離線和視頻音頻轉(zhuǎn)解碼服務(wù)均容器化,統(tǒng)一在K8S調(diào)度,部署到在線K8S集群,由此帶來的收益是非常大的,而這里面主要的技術(shù)則是利用tlinux的cpu隔離策略。

      而從異構(gòu)計算來看,在GPU服務(wù)的容器化方面,作業(yè)幫的主要策略是gpu-share方案,通過顯存和算力進(jìn)行POD調(diào)度,從上游流量入口側(cè)對算力進(jìn)行隔離,來保證GPU服務(wù)穩(wěn)定性,同時實(shí)現(xiàn)資源利用率的最大化。“在我們的場景下,大規(guī)模使用GPU幾千卡,比較常見的情況是卡故障,這時候就需要做故障轉(zhuǎn)移和資源下線操作。”呂亞霖稱。

      此外,作為可用性保證的重要環(huán)節(jié)之一,在多云K8S建設(shè)方面,作業(yè)幫在多個云廠商部署獨(dú)立的K8S集群,實(shí)現(xiàn)統(tǒng)一K8S的管理調(diào)度層,云內(nèi)流量閉環(huán),數(shù)據(jù)存儲專線同步,源頭DNS/HTTPDNS切流。

    圖片2.jpg

      在多重舉措的合力推動下,作業(yè)幫容器化的收益顯著,同樣業(yè)務(wù)遷移前后,使用了HPA和在離線混合部署后,成本下降43%,穩(wěn)定性提升到99.995%,接口響應(yīng)提升10%。由此,有效支持了作業(yè)幫業(yè)務(wù)的快速迭代,秒級急速擴(kuò)縮容,服務(wù)運(yùn)行態(tài)規(guī)范落地和統(tǒng)一的運(yùn)維環(huán)境,多云的環(huán)境統(tǒng)一,提升服務(wù)可用性。這也便于云間相互自由遷徙,實(shí)現(xiàn)單云故障的應(yīng)急預(yù)案,通過優(yōu)化資源碎片,在離線混合部署,自動擴(kuò)縮容,整體成本進(jìn)一步下降。

      在演講最后,談及對于容器化未來的規(guī)劃展望時,呂亞霖提出四大方向,包括更大規(guī)模和全時段的在離線混合部署,K8S與Serverless的結(jié)合是未來的趨勢,中間件容器化,以及大數(shù)據(jù)服務(wù)容器化。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。

    [No. S104]
    分享到微信

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。