百度沈抖：傳統(tǒng)云計(jì)算不再是主角，智能計(jì)算呼喚新一代“操作系統(tǒng)”

　　4月16日，Create 2024 百度AI開(kāi)發(fā)者大會(huì)在深圳召開(kāi)。期間，百度集團(tuán)執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖正式發(fā)布新一代智能計(jì)算操作系統(tǒng)——萬(wàn)源，通過(guò)對(duì)AI原生時(shí)代的智能計(jì)算平臺(tái)進(jìn)行抽象與封裝設(shè)計(jì)，為用戶(hù)屏蔽掉云原生系統(tǒng)與異構(gòu)算力的復(fù)雜性，提升AI原生應(yīng)用開(kāi)發(fā)效率與體驗(yàn)。

　　沈抖表示，隨著大模型技術(shù)的不斷演進(jìn)，通過(guò)自然語(yǔ)言進(jìn)行編程正在成為現(xiàn)實(shí)。編程將不再面向過(guò)程或者面向?qū)ο螅�而是面向需�?編程的過(guò)程將成為開(kāi)發(fā)者表達(dá)愿望的過(guò)程，并為操作系統(tǒng)帶來(lái)革命性的變化。

　　在操作系統(tǒng)的內(nèi)核中，底層硬件從以CPU算力為主變成以GPU算力為主，并且新增了被大模型壓縮的世界知識(shí)。操作系統(tǒng)管理的對(duì)象發(fā)生了本質(zhì)的變化，從管理進(jìn)程、管理微服務(wù)，進(jìn)化為管理智能。

　　“傳統(tǒng)的云計(jì)算系統(tǒng)依然重要，但不再是主角，我們需要一個(gè)全新的操作系統(tǒng)，對(duì)新的計(jì)算平臺(tái)，也就是智能計(jì)算做好抽象和封裝，重新定義人機(jī)交互，為開(kāi)發(fā)者提供更簡(jiǎn)單、更流暢的開(kāi)發(fā)體驗(yàn)。”沈抖如是說(shuō)。

　　(百度智能云發(fā)布新一代智能計(jì)算操作系統(tǒng)——萬(wàn)源)

　　本次大會(huì)上，百度智能云全新推出的“萬(wàn)源”智能計(jì)算操作系統(tǒng)，旨在“橋接”算力效能與應(yīng)用創(chuàng)新。具體來(lái)講，萬(wàn)源主要由Kernel(內(nèi)核)、Shell(外殼)、Toolkit(工具)三層構(gòu)成，底層屏蔽掉云原生系統(tǒng)與異構(gòu)算力的復(fù)雜性，上層則為AI原生應(yīng)用的敏捷開(kāi)發(fā)提供支撐與保障。

　　首先，在內(nèi)核層，在算力資源管理方面，百度百舸·AI異構(gòu)計(jì)算平臺(tái)針對(duì)大模型訓(xùn)練、推理等任務(wù)，對(duì)智算集群的設(shè)計(jì)、調(diào)度、容錯(cuò)等環(huán)節(jié)進(jìn)行了專(zhuān)項(xiàng)優(yōu)化。目前，百舸能夠?qū)崿F(xiàn)萬(wàn)卡集群上的模型有效訓(xùn)練時(shí)長(zhǎng)占比超過(guò)98.8%，線(xiàn)性加速比、帶寬有效性分別高達(dá)95%，算力效能業(yè)界領(lǐng)先。

　　此外，百舸還兼容昆侖芯、昇騰、海光DCU、英偉達(dá)、英特爾等國(guó)內(nèi)外主流AI芯片，支持用戶(hù)以最小代價(jià)完成算力適配。相比模型推理，“一云多芯”在模型訓(xùn)練場(chǎng)景中是極難攻堅(jiān)的難題，主要包含兩類(lèi)細(xì)分場(chǎng)景：

　　1、智算集群中存在多個(gè)訓(xùn)練任務(wù)，單一廠(chǎng)商芯片只服務(wù)單一任務(wù);

　　2、在每個(gè)獨(dú)立的模型訓(xùn)練任務(wù)中同時(shí)使用不同廠(chǎng)商芯片。這就需要解決不同廠(chǎng)商芯片算力均勻切分、芯片間通信效率優(yōu)化等問(wèn)題，難度極高。

　　(業(yè)界領(lǐng)先的單一任務(wù)一云多芯大模型訓(xùn)練解決方案)

　　目前，百舸已經(jīng)實(shí)現(xiàn)了單一訓(xùn)練任務(wù)下不同廠(chǎng)商芯片的混合訓(xùn)練，且百卡規(guī)模性能損失不超過(guò)3%，千卡規(guī)模性能損失不超過(guò)5%，業(yè)界領(lǐng)先。最大程度上屏蔽硬件之間差異，幫助用戶(hù)擺脫單一芯片的依賴(lài)，實(shí)現(xiàn)更優(yōu)成本，打造更具彈性的供應(yīng)鏈體系。

　　萬(wàn)源內(nèi)核中的另一個(gè)重要組成部分是大模型。大模型能夠?qū)⒕蘖康氖澜缰�識(shí)進(jìn)行高效壓縮，并將自然語(yǔ)言的理解、生成、邏輯、記憶能力進(jìn)行封裝。

　　目前，萬(wàn)源內(nèi)核中既包含了業(yè)界領(lǐng)先的ERNIE 4.0、ERNIE 3.5大語(yǔ)言模型，也包括ERNIE Speed/Lite/Tiny等輕量級(jí)模型、文心視覺(jué)大模型和各具特色的第三方大模型，充分滿(mǎn)足用戶(hù)在不同業(yè)務(wù)場(chǎng)景下的多樣化需求。

　　在內(nèi)核層之上是Shell層，通過(guò)百度智能云千帆ModelBuilder解決內(nèi)核中模型的管理、調(diào)度、二次開(kāi)發(fā)等問(wèn)題，屏蔽掉模型開(kāi)發(fā)的復(fù)雜性，幫助更多人只投入少量的數(shù)據(jù)、資源和精力，就能快速精調(diào)出適合自己業(yè)務(wù)的模型。

　　同時(shí)，在實(shí)際應(yīng)用中，ModelBuidler提供的模型路由服務(wù)，能夠自動(dòng)為不同難度的任務(wù)選擇合適參數(shù)規(guī)模的模型，給出平衡效果與成本的最優(yōu)模型組合。經(jīng)測(cè)算，在模型效果基本持平的情況下，模型路由平均降低推理成本多達(dá)30%!

　　在Shell層之上，千帆AppBuilder和AgentBuilder共同構(gòu)成了工具層，為開(kāi)發(fā)者提供強(qiáng)大的AI原生應(yīng)用開(kāi)發(fā)能力。尤其是AppBuilder提供的工作流編排功能，支持開(kāi)發(fā)者使用預(yù)置的模板和組件，輕松定制自己的業(yè)務(wù)流程，還能夠集成、擴(kuò)建自己的特色組件，在不同節(jié)點(diǎn)上選用適合的模型，通過(guò)靈活的編排實(shí)現(xiàn)業(yè)務(wù)邏輯。

　　在AppBuilder上開(kāi)發(fā)AI原生應(yīng)用的過(guò)程中，還可以直接調(diào)用通過(guò)ModelBuilder精調(diào)過(guò)的模型，讓整個(gè)開(kāi)發(fā)過(guò)程變得極為流暢和便捷。在應(yīng)用開(kāi)發(fā)完成后，可以一鍵發(fā)布到百度搜索、微信公眾號(hào)等平臺(tái)，也可以通過(guò)API或SDK的方式直接集成到用戶(hù)自己的系統(tǒng)中，真正做到極速開(kāi)發(fā)、輕松上市。

　　萬(wàn)源作為開(kāi)放的操作系統(tǒng)，未來(lái)還將進(jìn)一步開(kāi)放生態(tài)合作，為應(yīng)用開(kāi)發(fā)者提供更多能力和接口;助力企業(yè)打造專(zhuān)屬的垂直行業(yè)操作系統(tǒng);將萬(wàn)源部署在客戶(hù)自有智算中心，提供穩(wěn)定、安全、高效的智能計(jì)算平臺(tái)服務(wù);適配更多廠(chǎng)商異構(gòu)芯片并發(fā)揮其最大效能。

　　當(dāng)前，大模型技術(shù)與AI原生應(yīng)用正在促使云服務(wù)向以AI為核心的新一代智能計(jì)算操作系統(tǒng)方向發(fā)展，這一趨勢(shì)不僅反映了技術(shù)發(fā)展的內(nèi)在邏輯，也體現(xiàn)了市場(chǎng)需求的強(qiáng)勁推力，并開(kāi)啟一個(gè)由AI驅(qū)動(dòng)的嶄新的智能云時(shí)代。