落地大模型的京東云，把誰逼到了懸崖邊？

　　每一個(gè)線上大型活動(dòng)的背后都離不開云廠商的支撐。

　　京東官方數(shù)據(jù)顯示，作為中央廣播電視總臺(tái)《2024年春節(jié)聯(lián)歡晚會(huì)》獨(dú)家互動(dòng)合作平臺(tái)，總臺(tái)春晚期間，用戶在京東的互動(dòng)量超552億次。

　　552億次的互動(dòng)背后，是對(duì)云計(jì)算資源的持續(xù)調(diào)動(dòng)，也是對(duì)云廠商的一次考驗(yàn)。

　　在類似春晚的全國(guó)性節(jié)目中，極端的大流量往往是云計(jì)算廠商們難以承受的。過往，云計(jì)算廠商大都會(huì)選擇提前準(zhǔn)備更多的服務(wù)器資源，但今年，京東云卻走出了不一樣的路徑。

　　2023年，國(guó)內(nèi)大模型領(lǐng)域風(fēng)起云涌，大模型的出現(xiàn)，給云計(jì)算的發(fā)展帶來了全新的機(jī)遇。以大模型算力為云的基本盤，通用大模型和行業(yè)大模型已經(jīng)成為云廠商們研究的重中之重。

　　可以說AI大模型的誕生激勵(lì)著云計(jì)算廠商們開啟第二波增長(zhǎng)曲線，并推動(dòng)它們塑造出了云計(jì)算應(yīng)用服務(wù)新范式，但在加快技術(shù)研究的同時(shí)，如何將大模型融入現(xiàn)有的云計(jì)算產(chǎn)品，并實(shí)現(xiàn)應(yīng)用已經(jīng)成為當(dāng)下云廠商們面臨的共同課題。

　　而在這次春晚中，京東云所實(shí)踐的正是大模型賦能云計(jì)算的一次規(guī)模化落地。

　　1、時(shí)代變了，向技術(shù)要底氣

　　在這次春晚中，京東云的任務(wù)除了要承接春晚流量的暴增，還要在節(jié)目的進(jìn)行中設(shè)計(jì)各種玩法為海內(nèi)外受眾送上1億份實(shí)物好禮和30億的紅包，但準(zhǔn)備時(shí)間卻只有16天。

　　自2015年起，線上的大型節(jié)目便成了大廠爭(zhēng)奪的流量戰(zhàn)場(chǎng)，面對(duì)春晚這種數(shù)十億量級(jí)的流量沖擊，云廠商們能做的就是盡量拉長(zhǎng)準(zhǔn)備時(shí)間。一方面服務(wù)器集群基礎(chǔ)上擴(kuò)容，另一方面拉上數(shù)百人規(guī)模的運(yùn)維團(tuán)隊(duì)整裝待發(fā)。

　　所以，在過往的大型線上活動(dòng)中，云計(jì)算廠商們打的是資源之戰(zhàn)。

　　但這個(gè)解決方式背后存在著大量的浪費(fèi)，而不止局限于當(dāng)下的大型節(jié)目中，行業(yè)中云浪費(fèi)已經(jīng)成為常態(tài)化的現(xiàn)象。

　　中國(guó)信通院發(fā)布的《云計(jì)算白皮書》顯示，企業(yè)常常在云上購(gòu)買不需要的服務(wù)，導(dǎo)致底層云資源對(duì)上層業(yè)務(wù)盲目支撐，費(fèi)用預(yù)算通常超出預(yù)期，用云成本難以控制。近年來，伴隨云計(jì)算在中國(guó)企業(yè)中的加速普及，由“迫切上云”到“更好用云”成為新趨勢(shì)。

　　京東云敏銳地觀察到了這一趨勢(shì)，并試圖通過向技術(shù)要效率來實(shí)現(xiàn)“上云”價(jià)值的顛覆。

　　據(jù)京東云相關(guān)負(fù)責(zé)人稱：“同樣的場(chǎng)景、更多的流量，我們計(jì)算資源的總量是一定的，這就需要極致地精打細(xì)算，每個(gè)應(yīng)用都必須在有限的資源下發(fā)揮極致效率”。

　　因此，在面對(duì)春晚這樣的大型活動(dòng)中，京東云創(chuàng)新性地選擇用智能技術(shù)來提升資源的利用率。

　　具體來看，京東云首先上線了“春晚保障AI指揮官”，通過大模型等新一代人工智能技術(shù)，把春晚保障工作及相應(yīng)系統(tǒng)進(jìn)行了統(tǒng)籌。

　　在算力層面，基于AI大模型的加持，京東云以更為彈性的方式在不同的場(chǎng)景中釋放了更強(qiáng)的算力，從而給春晚智能化保障提供更堅(jiān)實(shí)的支撐底座。

　　據(jù)京東云方面測(cè)算，通過接入AI能力，提升了30%資源利用率，從而大幅降低了保障成本。而這也意味著，原本需要依托于增加服務(wù)器而承接爆發(fā)流量的云，可以在智能分配的邏輯下實(shí)現(xiàn)資源的最大化利用。

　　也就是說，京東云通過給自研的混合多云操作系統(tǒng)云艦接入大模型能力，從而實(shí)現(xiàn)了從傳統(tǒng)堆資源的向精細(xì)化調(diào)度的升級(jí)，通過AI精準(zhǔn)預(yù)測(cè)流量，京東云實(shí)現(xiàn)了計(jì)算資源和高并發(fā)流量的精準(zhǔn)匹配。

　　值得一提的是，此次春晚互動(dòng)保障中，憑借最新的智能算法，云艦可基于應(yīng)用歷史數(shù)據(jù)提取其資源使用特征，形成應(yīng)用畫像，對(duì)未來一段時(shí)間的任務(wù)調(diào)度進(jìn)行實(shí)時(shí)動(dòng)態(tài)預(yù)測(cè)，極大減少在線業(yè)務(wù)與離線業(yè)務(wù)間的資源競(jìng)爭(zhēng)，從而有效提升CPU利用率，讓先進(jìn)計(jì)算最大化發(fā)揮功效。

　　2、當(dāng)大模型賦能“預(yù)測(cè)”

　　彈性資源的極致調(diào)度是京東云技術(shù)的分配所實(shí)現(xiàn)的，但在這之前，如何精準(zhǔn)預(yù)測(cè)流量至關(guān)重要。

　　眾所周知，大模型是指具有大規(guī)模參數(shù)和復(fù)雜計(jì)算結(jié)構(gòu)的機(jī)器學(xué)習(xí)模型。這些模型通常由深度神經(jīng)網(wǎng)絡(luò)構(gòu)建而成，擁有數(shù)十億甚至數(shù)千億個(gè)參數(shù)。

　　也就是說，大模型具有更大的存儲(chǔ)容量和更強(qiáng)的計(jì)算能力，能夠吸收并處理更大規(guī)模的數(shù)據(jù)集。通過對(duì)這些數(shù)據(jù)的學(xué)習(xí)和歸納，大模型可以逐漸優(yōu)化自己的預(yù)測(cè)能力，也能進(jìn)一步提升準(zhǔn)確度。

　　在“預(yù)測(cè)”這個(gè)被前置的環(huán)節(jié)中，隨著人工智能大潮，生成式AI分析逐步嶄露頭角，其“大模型+大量數(shù)據(jù)”的組合為用戶提供了前所未有的洞察力和預(yù)測(cè)能力，從而能夠?qū)崿F(xiàn)復(fù)雜的任務(wù)和數(shù)據(jù)的高效處理。

　　相比傳統(tǒng)的流量預(yù)測(cè)邏輯，大模型基于數(shù)據(jù)模型的龐大能夠?qū)崿F(xiàn)更為精準(zhǔn)預(yù)測(cè)。而在其中，大模型自然成為流量預(yù)測(cè)的關(guān)鍵技術(shù)之一。

　　以京東云在春晚中的表現(xiàn)為例，通過分析歷史數(shù)據(jù)和虎年春晚保障經(jīng)驗(yàn)，繪制更精準(zhǔn)更敏捷的流量地圖，基于數(shù)千個(gè)數(shù)據(jù)維度，對(duì)春晚流量進(jìn)行評(píng)估和預(yù)測(cè)，京東云實(shí)現(xiàn)了超95%的預(yù)測(cè)準(zhǔn)確率。在實(shí)際落地的過程中，能夠保證核心流量接入以及轉(zhuǎn)化均在預(yù)期之內(nèi)。

　　具體到目標(biāo)的實(shí)現(xiàn)，在制定春晚1億好物策略時(shí)，運(yùn)營(yíng)人員根據(jù)精準(zhǔn)預(yù)測(cè)流量大小、預(yù)判到了用戶訪問輪次分布。同時(shí)基于交互式策略畫布，在5分鐘內(nèi)，就實(shí)現(xiàn)了用戶策略的生成并上線。

　　在大型活動(dòng)中，往往涉及全鏈路的調(diào)度，因此在全鏈路中實(shí)現(xiàn)前置預(yù)測(cè)至關(guān)重要。在此次春晚中，京東云做到了這一點(diǎn)，除了對(duì)互動(dòng)行為進(jìn)行全鏈路預(yù)測(cè)，還實(shí)現(xiàn)了實(shí)時(shí)調(diào)整流量分配，進(jìn)行資源擴(kuò)縮容。

　　京東云方面透露，當(dāng)?shù)谝惠唽?shí)際流量與預(yù)測(cè)不符時(shí)，自動(dòng)調(diào)整后續(xù)幾輪的紅包策略，確保流量平穩(wěn)分配，核心流量接入以及轉(zhuǎn)化在預(yù)期內(nèi)，更高效地服務(wù)零售、物流環(huán)節(jié)整體供應(yīng)鏈履約。

　　值得一提的是，在這次春晚中，京東云同樣依托于大模型進(jìn)行了創(chuàng)新的探索。比如，京東研發(fā)了Force Bot全鏈路軍演機(jī)器人和故障分析大模型，F(xiàn)orce Bot是制造問題的高手，故障分析大模型則是解決問題的高手。

　　在春晚實(shí)際應(yīng)用之前，F(xiàn)orce Bot通過模擬海量用戶搶紅包、購(gòu)物等行為，制造了大量的真實(shí)流量，對(duì)壓測(cè)系統(tǒng)形成高并發(fā)壓力，提高了壓測(cè)結(jié)果的真實(shí)性和準(zhǔn)確性。Force Bot還在逐步引入AI技術(shù)，以此實(shí)現(xiàn)了對(duì)各個(gè)系統(tǒng)的流量值的預(yù)測(cè)，并給出了資源分配的建議。

　　3、打造一朵“智算云”

　　AI原生時(shí)代，各行各業(yè)對(duì)于計(jì)算服務(wù)的需求正在從傳統(tǒng)的云計(jì)算向“智算云”轉(zhuǎn)移。面向大模型進(jìn)行云計(jì)算基礎(chǔ)設(shè)施體系的重構(gòu)是當(dāng)下云廠商不得不推進(jìn)的工作。

　　京東云在春晚的歷練場(chǎng)上走出了云廠商們的第一步，它以實(shí)際落地的戰(zhàn)績(jī)向外界展示了“智算云”的前景和能力。

　　打造“智算云”與時(shí)代發(fā)展方向契合，據(jù)Silicon ANGLE統(tǒng)計(jì)。過去10個(gè)月云計(jì)算的預(yù)算變化與AI支出增長(zhǎng)呈高度正相關(guān)性，整體云計(jì)算預(yù)算隨AI支出快速增長(zhǎng)。

　　因此，AI大模型對(duì)提高云服務(wù)商的競(jìng)爭(zhēng)力至關(guān)重要，但與此同時(shí)，在大模型應(yīng)用驅(qū)動(dòng)下，國(guó)內(nèi)云計(jì)算進(jìn)入新一輪技術(shù)升級(jí)及應(yīng)用擴(kuò)展的關(guān)鍵時(shí)期。

　　云計(jì)算服務(wù)商必須加快變革，除了在底層架構(gòu)、運(yùn)維體系以及云原生轉(zhuǎn)型等方面加速創(chuàng)新，還要在應(yīng)用和產(chǎn)品層面不斷創(chuàng)新，以此為企業(yè)提供更加敏捷、高效的數(shù)字化解決方案。

　　目前，國(guó)內(nèi)外云廠商早已開始布局AI大模型發(fā)展，基于AI大模型的云服務(wù)應(yīng)用也已成為云服務(wù)商的必爭(zhēng)之地。

　　2023年7月中旬，京東云在2023京東全球科技探索者大會(huì)暨京東云峰會(huì)上推出了以云計(jì)算為技術(shù)底座的大模型數(shù)字基礎(chǔ)設(shè)施矩陣，包括言犀AI開發(fā)計(jì)算平臺(tái)、混合多云操作系統(tǒng)云艦3.0等。

　　作為第一批快速進(jìn)入“智算云”轉(zhuǎn)型之路的云服務(wù)商，京東云打造的數(shù)智算力矩陣，從硬件基礎(chǔ)設(shè)施到智算集群，再到MaaS服務(wù)，提供了一站式的大模型服務(wù)能力。

　　不只是京東云，從模型發(fā)展上看，國(guó)內(nèi)大模型爭(zhēng)相發(fā)布，截至當(dāng)下，國(guó)內(nèi)大模型數(shù)量已逾200個(gè)。

　　而隨著各家云服務(wù)廠商大模型的成熟，大模型云服務(wù)在今年開始進(jìn)入產(chǎn)業(yè)落地的關(guān)鍵時(shí)期，正廣泛應(yīng)用于數(shù)字人、金融、教育等多個(gè)領(lǐng)域，加速孵化創(chuàng)新應(yīng)用場(chǎng)景和服務(wù)產(chǎn)品，全方面改造各業(yè)務(wù)場(chǎng)景。

　　可以說大模型為云計(jì)算帶來全新的活力生機(jī)，云計(jì)算正在演變成為新時(shí)代的平臺(tái)，向下整合硬件，向上對(duì)接大模型。

　　在其中，云廠商更應(yīng)該做好云平臺(tái)，構(gòu)建云生態(tài)，并真實(shí)落地于產(chǎn)業(yè)之間。就像京東云這樣，在每一場(chǎng)實(shí)際的應(yīng)用中讓大模型云服務(wù)的能力發(fā)揮到極致。