與去年百模大戰(zhàn)、靠算力堆出通用大模型不同,今年的大模型產(chǎn)業(yè)落地,要靠業(yè)務跑出來。
文|趙艷秋 徐鑫
編|;
今年是大模型產(chǎn)業(yè)落地元年。從年初到現(xiàn)在,客戶對大模型的預期越來越高,要求解決更多的業(yè)務場景問題。
在這個過程中,智能體正在爆發(fā)——越來越多的客戶希望自身應用,能向下一代智能體(Agent)的方向演進。
簡單說,如果將大模型比作大腦,智能體就像是大腦的手腳和四肢。它能拆解客戶復雜的需求,調(diào)用工作流和工具,成為一個真正的業(yè)務小助手。由于它的門檻足夠低,可以讓更多人入門。而今天大多數(shù)AI原生應用,幾乎都能用智能體搭建。
業(yè)界所有大模型公司和生態(tài)企業(yè)都在做智能體。這也意味著,大模型落地已進入“必卷智能體”的階段。
在7月30日于上海舉辦的2024京東云峰會上,京東正式發(fā)布言犀智能體平臺,它是一站式智能體開發(fā)平臺。京東云判斷,智能體、數(shù)字人、具身智能是未來大模型與終端用戶的核心交互介質(zhì)。其中,智能體更偏云端,是企業(yè)AI原生應用的重要推手。
實際上,京東云此次發(fā)布了包括言犀智能體平臺在內(nèi)的、支持大模型落地的全棧產(chǎn)品,加速大模型全場景落地。
“通用大模型靠算力堆出來,企業(yè)大模型則靠業(yè)務跑出來。”京東技術(shù)委員會主席、京東云事業(yè)部總裁曹鵬在云峰會上說。通過日臻完善的產(chǎn)品和工具平臺體系,大模型才能與產(chǎn)業(yè)結(jié)合,發(fā)揮最大潛力。
數(shù)智前線獲悉,京東云大模型全棧產(chǎn)品是在京東供應鏈這一超級孵化器中孵化而來。目前,在京東內(nèi)部已有超過100個大模型的應用,支撐了超過60萬員工和20萬的商家的應用。
01
“一線對智能體的熱情令我驚訝”
京東相關(guān)負責人表示,在實踐中感受到,智能體是今年大模型落地中,應用效果最好的工具平臺之一。
京東發(fā)布的言犀智能體平臺,實際上是一個“內(nèi)生外化”的產(chǎn)品。它從去年10月開始研發(fā),今年春季在京東和一些生態(tài)鏈企業(yè)開放使用,僅僅幾個月時間里,員工就搭建了3300多個智能體。“讓我們驚訝。”該負責人說。同時,平臺上也形成了上千個工作流、知識庫,受歡迎程度,超出預期。
“這可能與京東業(yè)務人員多,鏈條又足夠長有關(guān)。”一個有趣的現(xiàn)象是,過去一些年,京東在核心的零售供應鏈,投入了大量AI算法團隊。而這次大模型的變革,卻為那些過去沒有被AI影響到的群體,帶來顛覆性的變化。一線業(yè)務、職能、產(chǎn)品經(jīng)理等都結(jié)合自己的工作,創(chuàng)建Agent。
比如,有人搭建了長視頻剪輯Agent。因為京東內(nèi)部有大量培訓視頻要剪輯,過去大家要手動去找到相應部分,再用剪輯軟件去剪,一周只能剪幾個,F(xiàn)在這個視頻剪輯助手,只要上傳視頻和要求,就可以利用大模型多模態(tài)能力,找到對應的幀,員工再去剪輯,一周可以完成上百個。
另一個智能小哥助手,為快遞小哥做路徑規(guī)劃、智能提示,解放他們的雙手;在京東的智能體市場上,有大量活躍的Agent。有電話營銷質(zhì)檢智能體,已產(chǎn)生百萬級訪問量,替代人工做營銷電話的審核與校驗......此外,京東有超60萬員工,還有大量通用場景智能體,如報銷類、學習類。
由于針對大量一線員工使用,言犀智能體平臺支持了零代碼開發(fā),讓沒有算法背景的員工,也能通過可視化、拖拽方式來搭建智能體。“智能體平臺就是讓每一份AI靈感都能快速落地。”京東相關(guān)負責人對此深有體會。
智能體給組織協(xié)作也帶來了改變。之前一些業(yè)務部門協(xié)同時,要找對方拉會,需要開發(fā)還要制定排期,F(xiàn)在大家自發(fā)把各自的工具和API注冊到智能體平臺上,實現(xiàn)了底層能力的鏈接,其他部門員工可直接調(diào)用,協(xié)作也變得不一樣。
在經(jīng)歷內(nèi)部錘煉后,言犀智能體平臺對外開放。在商業(yè)模式上,提供公有云和私有化部署。
市場上已推出的智能體平臺,不少側(cè)重在個人開發(fā)者,但言犀智能體平臺更針對行業(yè)。它在內(nèi)部孵化時,獲得京東零售、健康、物流各板塊的廣泛使用,沉淀了相應的行業(yè)解決方案。這次發(fā)布中,言犀智能體平臺預置了相關(guān)配置模版和插件,以及100多種行業(yè)解決方案,客戶用1分鐘即可構(gòu)建專屬智能體。
針對企業(yè)如何用好智能體,京東相關(guān)負責人建議,尤其要注意兩方面:一是要持續(xù)挖掘爆款,打造標桿。比如,京東每周會根據(jù)數(shù)據(jù),選拔智能體在官方市場上架,吸引更多人使用。“黑客馬拉松則再將其推高一個檔次,一浪高過一浪。”
另一則與平臺運營相關(guān)。如何支撐成千上萬員工的應用?一方面要建立有企業(yè)特色的類目體系,將成千上萬的智能體分好類,方便大家查找;另一是及時沉淀成熟解決方案,用戶可以直接使用。
智能體做出的AI原生應用,給企業(yè)軟件市場也帶來變化。一些智能體直接替代了原有企業(yè)的SaaS軟件,一些則嵌入到SaaS系統(tǒng)中去。言犀智能體平臺也提供了簡單的應用發(fā)布環(huán)節(jié),企業(yè)可將搭建的智能體通過Web、API等方式,發(fā)布到內(nèi)部IM,如企業(yè)微信及協(xié)同辦公渠道。
業(yè)界看到,Agent目前仍然處于非常初級的階段,未來會產(chǎn)生更多意想不到的Agent能力,這有賴于長千上萬的企業(yè)應用者。他們使用的過程,將是AI Agent進化的過程。
02
智能體背后,大模型的鍛造流水線
言犀智能體平臺目前已接入數(shù)十個大模型。而這些模型,由言犀AI開發(fā)計算平臺輸送而來。在上海云峰會期間,言犀AI開發(fā)計算平臺全面升級到2.0,并根據(jù)大模型落地關(guān)鍵點,突出了其中的關(guān)鍵能力。
第一個能力是模型壓縮+模型拉升。從去年底開始,各家企業(yè)的主要精力,都是根據(jù)客戶的使用場景,在基礎(chǔ)大模型上裁剪、拉升出各種小模型。曹鵬介紹,這是因為即便經(jīng)歷了軍備競賽式的投入,通用大模型到了真正的場景里,“仍差了那薄薄的一層紙,需要專門調(diào)優(yōu)”。而且不少場景要求模型反應速度要快,推理成本要低,小模型的市場反而更大。
目前,企業(yè)一般是采用一個模型群組,來實現(xiàn)不同場景的應用。這些模型群組,需要對通用大模型進行萃取壓縮,以及灌注企業(yè)知識進行放大而來。在言犀AI開發(fā)計算平臺上,用戶可通過零代碼方式,通過這樣的推和拉,能快速獲取到一個企業(yè)的專業(yè)模型。同時,推理的成本降低100%,速度提升1.5倍。
“目前業(yè)界通常分兩步走——壓縮和垂域模型微調(diào)。”京東人工智能業(yè)務部相關(guān)負責人說,但言犀AI開發(fā)計算平臺可在壓縮的過程中,將垂域知識灌注進去。這也是京東廣泛采納的一個方案。
第二個能力是數(shù)據(jù)準備。每個行業(yè)都有大量數(shù)據(jù),包括多模態(tài)數(shù)據(jù)。這需要工具鏈具備極強的處理能力。
同時,過程數(shù)據(jù)的缺失,是業(yè)界落地大模型中,遇到的最大障礙。“比如我們看到一個癥狀,以及專家的處置建議,但并不知道專家的推理邏輯是什么。”京東健康相關(guān)負責人告訴數(shù)智前線,如果沒有推理邏輯,就解決不了幻覺問題。
“我們今天花了很大力氣,通過專家和大模型去補充。”一種是通過RAG的方式,這是當下業(yè)界必不可少的技術(shù),給模型文獻資料,讓它自動化地捕捉推理鏈路;另一種通過專家來補充。工具平臺能不能幫專家團隊提效,也是業(yè)界在拼的技術(shù)關(guān)鍵。
此外,大模型合成數(shù)據(jù)非常火爆。“如何在垂域合成數(shù)據(jù),與種子數(shù)據(jù)比較貼近,團隊也做了深入工作。”京東人工智能業(yè)務部相關(guān)負責人說。
第三個能力是模型評估。它包括通用能力評估以及垂域能力評估。針對通用大模型評測,市場上有一些不錯的榜單,公開了代碼和評測數(shù)據(jù)集,可以自動評測,直接出分。“要先保通用能力。如果沒有通用能力,就沒有垂域。”
至于垂域評測,京東在健康、零售等有評測數(shù)據(jù)集,用戶在調(diào)完模型后,也能再評測垂域。這也是自動化的。當然,也有一些人工評測,比如健康場景中人更懂業(yè)務,平臺也提供類似眾包的方式,讓大家參與評測。
在產(chǎn)業(yè)之中,構(gòu)建一個評測系統(tǒng)非常關(guān)鍵。“與其說怎么訓練好一個垂域模型,不如有一個評測體系能告訴你,模型該往哪個方向去進步,這件事情尤其重要。”除了工具平臺外,京東也搭建了評測團隊,“這是我們的幕后英雄”。
03
AI大底座,加速大模型全場景落地
伴隨著大模型及智能體應用到產(chǎn)業(yè)一線,業(yè)界發(fā)現(xiàn),計算、網(wǎng)絡、存儲等底層基礎(chǔ)設施也需要適應新局面,解決新挑戰(zhàn)。
最典型的一點,當下產(chǎn)業(yè)端的大模型應用實踐,要打造更開放的基礎(chǔ)設施平臺,比如支持多云、多芯、多活,能夠承接多種模型,從而滿足復雜的應用場景和業(yè)務需求。
目前,多模態(tài)大模型的打造,需要的算力是之前的10倍甚至百倍。全球企業(yè)都有一個特點,基于異構(gòu)算力,來完成模型的訓練、調(diào)用和推理,解決普遍面臨的算力緊缺并提升性價比。
除了計算,在存儲方面,模型訓練高峰時段可能在數(shù)十秒內(nèi)就要處理 TB 級別的數(shù)據(jù)存儲,而傳統(tǒng)應用中,這些海量小文件的處理任務,可分散在幾個月時間跨度里完成。這使得存儲產(chǎn)品必須朝向更高吞吐、更高IOPS、更高帶寬和更低延時進化。“同樣的GPU算力規(guī)模下,存儲性能的高低,可能帶來模型訓練周期3倍的差異。”曹鵬在演講中提到。
在Scaling law之下,超大規(guī)模集群對硬件間的網(wǎng)絡效率提出挑戰(zhàn)。不久前,馬斯克高調(diào)披露已建成10萬卡H100超級算力中心,業(yè)界對背后的網(wǎng)絡架構(gòu)——英偉達Spectrum-X也極為關(guān)注。畢竟,穩(wěn)健、低延遲的網(wǎng)絡關(guān)乎到集群里的計算資源能否被充分利用。
這些動向都表明,基礎(chǔ)設施關(guān)乎大模型的落地進程。而在這場系統(tǒng)戰(zhàn)面前,廠商們需要構(gòu)建更強大的AI底座,才能加速大模型在全場景落地。
京東云峰會上,披露了京東云AI底座的最近演進。如在高性能的存力方面,作為京東云自主研發(fā)的新一代存儲產(chǎn)品云海,歷經(jīng)了10余年京東自身復雜場景歷練,能提供大模型超大量數(shù)據(jù)傳輸所需的極致性能。
峰會上,全面升級到3.0版本的京東云云海,在吞吐、帶寬、延時等性能上進一步提升,為大模型全面落地提供了更堅實的支撐。云海也與所有主流國產(chǎn)化平臺兼容互認。
據(jù)了解,目前京東云云海在建設銀行等重量級金融機構(gòu)中大模型訓練中,提供了底層數(shù)據(jù)存儲的支撐。同時在上層應用上,也通過數(shù)據(jù)要素的合作,幫助這些企業(yè)去做線上數(shù)字化轉(zhuǎn)型。
在算力層面,京東打造了云艦AI算力云平臺。它具備了對多元異構(gòu)算力資源的統(tǒng)一管理和調(diào)度能力,包括各類CPU、GPU和國產(chǎn)化AI加速芯片,支持多地域分布式算力的統(tǒng)一調(diào)度,提供高性價比的算力供給。
另外,vGPU池化方案,通過GPU異構(gòu)資源池化,能將AI算力利用率提升70%,可有效降低算力成本。行業(yè)普遍存在算力焦慮,這也是京東云提供的一種解法。
此外,京東云大模型安全可信平臺,涵蓋超過200種特有的紅藍對抗攻擊手法,覆蓋監(jiān)管合規(guī)要求的全部31類風險類型,風險分析準確率高達95%以上。
針對大模型企業(yè)今年以來的價格戰(zhàn),曹鵬提到,去年京東云峰會就提過要通過技術(shù)升級來降低成本,要全網(wǎng)比價,對標主流云廠商的最低成交價再低10%。目前,京東云有超過100個產(chǎn)品規(guī)格通過比價售賣,并設立10億比價金,把技術(shù)帶來的紅利回饋給開發(fā)者群體。
總體而言,在2024京東云峰會中,京東通過發(fā)布從基礎(chǔ)設施、模型服務,再到智能體應用的全棧產(chǎn)品,正加速與產(chǎn)業(yè)的融合,從而讓更多企業(yè)的大模型落地,通過業(yè)務跑出來。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標識解析專題論壇在沈陽成功舉辦。