大模型應(yīng)用開發(fā)，AI 廠商開啟新一輪“群雄逐鹿”？

　　價格戰(zhàn)的硝煙似乎還沒有平息，但 AI 廠商們的又一場戰(zhàn)爭已經(jīng)開始。

　　這一次的競爭核心是大模型應(yīng)用開發(fā)。根據(jù) IDC 報告，2023年中國大模型平臺及相關(guān)應(yīng)用市場規(guī)模約還僅有區(qū)區(qū)17.65億元人民幣，但伴隨著行業(yè)的巨變，2024年，模型應(yīng)用開發(fā)相關(guān)的產(chǎn)業(yè)規(guī)模預(yù)計將會上漲至百億級別，各行各業(yè)對于 AI 技術(shù)、模型應(yīng)用的重視前所未有。

　　“今天我們接觸到的所有客戶、所有開發(fā)者、所有 CTO，幾乎都在用 AI 重構(gòu)自己的產(chǎn)品。”在2024云棲大會上，阿里巴巴集團 CEO、阿里云智能集團董事長兼 CEO 吳泳銘也在主題演講中印證了這一事實。在更垂直的一些領(lǐng)域，包括汽車制造、生物醫(yī)藥、工業(yè)仿真、氣象預(yù)測、等行業(yè)，AI 大模型都在加速滲透。一場新產(chǎn)業(yè)革命正在轟轟烈烈卻又默不作聲地演進著。

　　而對于百度智能云、火山引擎、阿里云等廠商來說，大模型上游側(cè)對于算力、底座大模型開發(fā)的攻城略地已經(jīng)進入白熱化，囤好了“糧”，一場產(chǎn)業(yè)下游的“跑馬圈地”也即將開始。AI Agent、RAG、模型訓推、工作流編排..... 新的技術(shù)革新故事正被傳頌著，對于廠商們來說，大模型等技術(shù)終于來到了實踐驗證的階段。這將是一場刺刀見紅的“廝殺”，養(yǎng)兵千日，用兵一時，針對爆炸式增長的需求，誰能推出更好用的平臺產(chǎn)品，誰似乎就抓住了 AI 技術(shù)發(fā)展的下一個機會。

　　如同 IOS 與安卓的競爭一樣，生態(tài)即是關(guān)鍵，在規(guī)模法則愈加應(yīng)驗的今天，抓住更多行業(yè)的數(shù)智化浪潮，為自身壘砌護城河，已經(jīng)成為關(guān)鍵。但許多問題仍縈繞在人們心中:市場對于大模型應(yīng)用開發(fā)的核心需求是什么?對于廠商來說，怎樣才能打贏這場“戰(zhàn)爭”，站在“紫禁之巔”?

　　1搶占先機!誰抓住了大模型應(yīng)用開發(fā)，誰就抓住了未來?

　　大模型技術(shù)何以應(yīng)用?關(guān)鍵在于對數(shù)據(jù)要素價值的進一步挖掘，借助大模型強大的數(shù)據(jù)處理能力和深度學習能力，數(shù)據(jù)信息等生產(chǎn)要素的使用效率進一步提高，并借助新的生成方式作用于企業(yè)生產(chǎn)業(yè)務(wù)與經(jīng)營決策中，通過更深層次的“數(shù)智化”，賦能不同的生產(chǎn)場景。

　　根據(jù)前瞻產(chǎn)業(yè)研究院發(fā)布的《2024中國 AI 大模型場景探索及應(yīng)用報告》，大模型技術(shù)在金融、政務(wù)、教育等領(lǐng)域的滲透率均超過50%，借助生成式 AI 等能力，智能客服、智能營銷、智能搜索等通用場景的應(yīng)用成熟度逐漸增高，在醫(yī)療、制造、電商等領(lǐng)域，改變也在同步發(fā)生，包括英特爾、百度在內(nèi)的軟硬件廠商們正在不斷布局這些行業(yè)領(lǐng)域，希望將大模型能力進一步融入進相關(guān)場景業(yè)務(wù)中，通過針對性的垂直應(yīng)用產(chǎn)品提升業(yè)務(wù)效率。

　　“風口”已經(jīng)到來，但對于許多企業(yè)來說，想要自如的運用大模型的能力，卻并沒那么簡單。首先是算力瓶頸問題，高性能硬件資源的高昂成本和專業(yè)管理需求對許多企業(yè)構(gòu)成了壓力。其次，不同系統(tǒng)和框架之間的兼容性問題也增加了額外的開發(fā)工作和技術(shù)支持需求，人才緊缺也制約了企業(yè)大模型應(yīng)用開發(fā)的腳步。此外，企業(yè)還需要關(guān)注模型的構(gòu)建、訓練、優(yōu)化、部署和維護等多個層面的需求，這又在無形中增加了成本。

　　所有行業(yè)，都需要性能更強、規(guī)模更大、更適應(yīng) AI 需求的基礎(chǔ)設(shè)施，并將其作用于應(yīng)用開發(fā)之中，于是 AI 獨角獸、云廠商們開始持續(xù)發(fā)力。

　　目前，國內(nèi)外主要的 AI 大模型廠商均推出了大模型應(yīng)用開發(fā)平臺或相應(yīng)的產(chǎn)品矩陣，在國外，OpenAI 開發(fā)者平臺、亞馬遜云科技的 Bedrock，Azure AI Studio 風頭正勁，在國內(nèi)，百度智能云的千帆生態(tài)、字節(jié)跳動的火山方舟等也備受關(guān)注，而最近阿里云也同樣在大模型應(yīng)用開發(fā)領(lǐng)域作出了新的部署，這也進一步引起了全行業(yè)的關(guān)注。

　　2024云棲大會上，阿里云宣布其主攻大模型應(yīng)用開發(fā)的兩大產(chǎn)品——大模型服務(wù)平臺百煉和人工智能平臺 PAI 也迎來了新的升級:阿里云百煉進一步增強⼯作流與智能體的流程編排能⼒，同時也發(fā)布了百煉2.0專屬版本，專⻔針對政企客戶做了使⽤優(yōu)化;⼈⼯智能平臺 PAI，已實現(xiàn)萬卡級別的訓練推理⼀體化彈性調(diào)度，AI 算⼒有效利⽤率超90%，進一步提升了大模型工程開發(fā)能力。這無疑是阿里云為建立 AI 開發(fā)和應(yīng)用落地全棧能力的又一個重要布局。

　　對于許多企業(yè)來說，在數(shù)智化升級的前期，相關(guān)需求并不明晰，其使用的產(chǎn)品就需要覆蓋更多元的功能與調(diào)用能力，而百煉和 PAI 即可滿足企業(yè)在大模型應(yīng)用開發(fā)中的多樣化需求。

　　百煉依托阿里云的 AI 基礎(chǔ)設(shè)施，提供全面的模型應(yīng)用開發(fā)工具，支持企業(yè)通過 prompt 構(gòu)建 Agent 和 RAG 系統(tǒng)，實現(xiàn)模型功能的快速接入與應(yīng)用構(gòu)建。PAI 則提供構(gòu)建和定制大模型的能力，滿足企業(yè)從0到1構(gòu)建大模型或深度定制模型的需求。無論是模型調(diào)用、應(yīng)用開發(fā)還是模型開發(fā)，借助百煉和 PAI 的產(chǎn)品能力，企業(yè)基本能夠?qū)崿F(xiàn)模型功能在大模型領(lǐng)域的全棧落地。

　　百煉與 PAI 的能力就在于，其真正將“應(yīng)用開發(fā)”的全部能力整合進產(chǎn)品中，并通過邏輯清晰的封裝與靈活易用的特性增強其開發(fā)能力。這也有針對性地解決了諸多大模型應(yīng)用開發(fā)平臺所面臨的問題:單個工具的使用門檻并不高，但整體構(gòu)建的框架與工作流并不清晰，致使大模型應(yīng)用開發(fā)陷入困頓。真正的模型應(yīng)用開發(fā)，不是簡單的開發(fā)一個 Agent，或是孤立的 RAG 系統(tǒng)，而是能夠由淺入深，真正構(gòu)建出一款大模型應(yīng)用，從而“一站式”地滿足企業(yè)的數(shù)智化升級需要，以及多元的業(yè)務(wù)需求。

　　2破解成本與效率的迷局:如何讓模型應(yīng)用開發(fā)物有所值?

　　AI 的盡頭是算力，盡管這是一句老生常談，但在市場數(shù)據(jù)的支持下，我們不得不承認這一點。

　　隨著 AI 大模型技術(shù)的迅猛發(fā)展，算力市場也在經(jīng)歷劇烈的變化。企業(yè)對大模型應(yīng)用的需求不斷增加，推動了對高性能計算資源的需求，尤其是 GPU 的需求，供不應(yīng)求一度成為常態(tài)。時間來到2024年，AI 算力市場的供需關(guān)系逐漸平衡，部分 GPU 和 AI 服務(wù)器價格有所回調(diào)，NVIDIA ***和 RTX4090的租賃價格在10個月內(nèi)下降了50%，***的8卡節(jié)點年租賃價格從12-18萬元降至約7萬元。盡管如此，高端 GPU 如 A100仍供不應(yīng)求，價格較高。國產(chǎn) AI 芯片逐步崛起，但短期內(nèi)難以大幅緩解供應(yīng)壓力。

　　在2024AI Hardware Summit 上，微軟云計算 AI 和高級系統(tǒng)副總裁 Zaid Kahn 在演講中提到，目前模型訓練的計算需求與關(guān)鍵基礎(chǔ)設(shè)施之間存在日益擴大的差距，訓練計算量每年增長4.2倍，而內(nèi)存帶寬增長1.26倍，互連帶寬增長1.18倍，算力、傳輸?shù)燃夹g(shù)的解鎖已經(jīng)成為目前行業(yè)發(fā)展的繞不過的關(guān)隘，整個行業(yè)需要系統(tǒng)性的革新。2024云棲大會上，阿里云 CTO 周靖人也直言，算力供不應(yīng)求的情況客觀存在。

　　巨變?nèi)孕璧却�，算力資源等成本的居高不下，一直讓大模型走向應(yīng)用落地的步伐走得不是很暢快。這也為模型廠商的價格戰(zhàn)提供了“土壤”，借助規(guī)模優(yōu)勢與技術(shù)創(chuàng)新，AI 服務(wù)背后的算力成本被進一步稀釋，但對于很多企業(yè)來說，投入產(chǎn)出比仍舊是目前入局大模型應(yīng)用開發(fā)的核心考慮因素，誰能用更低的價格提供更多的資源，幫助企業(yè)解決性價比問題，誰就能盡可能地占據(jù)更多的市場份額。

　　如何開源節(jié)流，技術(shù)創(chuàng)新為上策。對于云廠商們來說，首先就是充分利用自己的規(guī)模優(yōu)勢，Scaling Law 不僅在大模型的深度學習與訓推中能夠發(fā)揮作用，同樣可以能夠在大模型應(yīng)用開發(fā)中發(fā)光發(fā)熱。

　　縱觀全球 AI 及云計算廠商，只有阿里云和 Google Cloud Platform(GCP)同時擁有云基礎(chǔ)設(shè)施和自研大模型開發(fā)的能力，其中阿里云作為中國唯一提供 AI 全棧產(chǎn)品與服務(wù)的公司，不斷升級其底層計算、存儲、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施，為 AI 計算業(yè)務(wù)提供了超大規(guī)模、超強性能的智能算力。其靈駿集群能夠支持單集群十萬卡級別的 AI 算力規(guī)模，萬卡規(guī)模性能線性度超過96%，網(wǎng)絡(luò)帶寬利用率超過99%，并行存儲吞吐達到20TB/s。這進一步為阿里云的大模型應(yīng)用開發(fā)服務(wù)提供了深厚的算力基礎(chǔ)。

　　另一方面，模型產(chǎn)品的多樣性也在不斷豐富，百煉能提供包括通義千問在內(nèi)的主流大模型的調(diào)用服務(wù)，借助30萬 + 企業(yè)客戶的不斷調(diào)用，調(diào)用成本不斷降低，同時模型也借助生態(tài)的規(guī)模優(yōu)勢不斷調(diào)優(yōu)，讓模型的能力更加精準，附加多模態(tài)、全尺寸等全面的產(chǎn)品功能，也讓企業(yè)對于資源的利用率進一步提高，讓算力資源能夠更加有的放矢。

　　企業(yè)在使用云計算資源時，往往會選擇比實際需求更大的實例規(guī)格，以應(yīng)對潛在的高峰負載。這種做法雖然能確保在高峰期不出現(xiàn)資源不足的情況，但在大部分時間里，這些資源處于閑置狀態(tài)，導致算力浪費。例如，根據(jù)調(diào)查，約40% 的組織云計算規(guī)模是實際需求的兩倍。

　　與此同時，在目前萬卡集群等境況下，異構(gòu)計算技術(shù)的不完善會導致大規(guī)模的算力浪費;在異構(gòu)計算環(huán)境中，不同規(guī)格、版本的芯片混用時，如何高效協(xié)同工作是一個挑戰(zhàn)，如果處理不當，也會造成資源的浪費;在多租戶的企業(yè)級深度學習場景中，不同用戶會提交不同框架的深度學習作業(yè)，這些作業(yè)對資源的需求各不相同，如果沒有有效的資源管理和調(diào)度系統(tǒng)，也會導致資源的浪費。

　　另一方面，對于模型訓練來說，出現(xiàn)訓練錯誤的情況時常發(fā)生，如果沒有及時的糾偏補全，模型訓練就有可能從頭開始，此前訓練使用的算力資源也就被白白浪費。

　　針對這些情況，以阿里云為代表的云廠商們都在探索如何將單卡的算力發(fā)揮到極致，如何讓大規(guī)模集群的資源利用更加科學，不少廠商都喊出了“打造全新的 AI 基礎(chǔ)設(shè)施”的口號。以人工智能平臺 PAI 為例，其借助高性能的 AI 工程平臺，能夠全鏈路的支撐數(shù)據(jù)處理、開發(fā)、訓練等各個環(huán)節(jié)，結(jié)合訓推異構(gòu)化的趨勢，其能夠?qū)崟r根據(jù)業(yè)務(wù)負載、模型結(jié)構(gòu)、資源類型的變化進行優(yōu)化，實現(xiàn)萬卡級別的訓練推理一體化彈性調(diào)度，讓異構(gòu)計算下的不同芯片“捆成一股繩”，可以真正實現(xiàn)“指哪打哪”。

　　同時，通過云原生的統(tǒng)一調(diào)度引擎，統(tǒng)一管理，讓多種異構(gòu)算力、不同的卡型、廠商，動態(tài)的調(diào)度并且無感的切換任務(wù)，充分利用碎片化的算力資源，比如在大企業(yè)調(diào)用大規(guī)�？ㄈ嘿Y源的同時，其中部分的碎片化的資源開放給開發(fā)者去使用，做小型任務(wù)的處理，讓整個阿里云的算力資源能夠充分被調(diào)動。據(jù)悉，目前阿里云 AI 有效算力已經(jīng)實現(xiàn)了十倍以上的提升，有效算力利用率達到了百分之九十以上。

　　基于算力利用率的提升，基于百煉和 PAI 這樣的平臺，企業(yè)、開發(fā)者夠輕松無負擔的用上萬卡、十萬卡集群資源，但不用將精力放在資源的管理調(diào)度之上，讓大模型應(yīng)用開發(fā)不僅在性價比方面突破桎梏，還進一步的隱藏了其復雜性，讓行業(yè)的數(shù)智化發(fā)展更專注，更聚焦。

　　3拋棄噱頭，返璞歸真，“好用、能用”才是模型應(yīng)用開發(fā)平臺的核心競爭力?

　　回歸到市場本身，當準入門檻被時間抹平，成本難題被想方設(shè)法攻克，最終決定成敗的“彈藥”仍舊是產(chǎn)品本身，以往的優(yōu)勢固然重要，但只有真正讓大模型技術(shù)作用于業(yè)務(wù)場景中，讓應(yīng)用開發(fā)真正切實可行，才是破局的關(guān)鍵。

　　總結(jié)當下的大模型應(yīng)用開發(fā)平臺及產(chǎn)品，基本都遵循了相同的技術(shù)架構(gòu)，圍繞模型供應(yīng)，模型精調(diào)與訓練、Agent 搭建，RAG 知識庫、工作流編排、Prompt 指引等核心功能與關(guān)鍵環(huán)節(jié)展開，不同點主要在于產(chǎn)品框架的不同以及調(diào)用模型的不同。如何才能拉開差距?核心就在于實用性。

　　以阿里云百煉為例，作為供應(yīng)模型數(shù)最多的平臺之一，除了阿里云的通義千問主流模型之外，還有很多開源第三方模型以及行業(yè)大模型，在多樣化模型的支持下，不同行業(yè)的企業(yè)可以從專業(yè)的行業(yè)大模型中調(diào)用服務(wù)，通義大模型則提供應(yīng)用搭建的相關(guān)能力，輔以三方大模型的服務(wù)運維，可以結(jié)合實際情況，進行更深入的大模型能力調(diào)用。在模型本身的能力角度，在百煉服務(wù)升級后搭載了降價版本的通義千問 PLus 版本與 Turbo 版本，分別滿足性能與性價比的需要。除此之外，百煉還提供多模態(tài)、全尺寸的模型服務(wù)，進一步擴展了模型應(yīng)用的功能選擇。

　　更重要的是，百煉還同步提供多樣化的開發(fā)范式，“手把手”的幫助企業(yè)開發(fā)應(yīng)用，結(jié)合細顆粒度、低門檻的工作流編排，通過 prompt 指引、案例參考、反饋優(yōu)化等方式助力企業(yè)的開發(fā)進程，這對于缺乏 AI 團隊與開發(fā)者的企業(yè)來說至關(guān)重要。在目前市場頗為關(guān)注的 RAG(檢索增強)領(lǐng)域，相對于市面上其他的產(chǎn)品，百煉也進行了進一步的靈活優(yōu)化，讓 RAG 深度融入進了應(yīng)用開發(fā)的各個環(huán)節(jié)中，進一步發(fā)揮企業(yè)自身的數(shù)據(jù)價值，讓專業(yè)數(shù)據(jù)融入應(yīng)用中，實現(xiàn)與模型能力的有機融合。

　　除此之外，模型幻覺問題對于應(yīng)用的服務(wù)效果也有極大的影響，可監(jiān)測的精細化運營或許是解決方法之一。針對這一問題，百煉的每個模塊都將受到質(zhì)量監(jiān)控，通過多樣化的實時指標持續(xù)優(yōu)化應(yīng)用。為此，阿里云還提供了一個支持全鏈路管理和分析的平臺，其支持自動和人工評測，助力企業(yè)客戶針對不同模塊進行優(yōu)化，無論是 SFT 數(shù)據(jù)還是應(yīng)用效果，確保模型應(yīng)用可觀測、可分析、可評價，并可進行干預(yù)。

　　在模型開發(fā)層面，數(shù)據(jù)加工和處理在大模型發(fā)展中變得至關(guān)重要，模型能力提升往往源于數(shù)據(jù)差異。針對這一問題，人工智能平臺 PAI 在基礎(chǔ)模型方面，新增了系數(shù)模型、混合專家模型和多模態(tài)模型的 Diffusion Transformer 支持。模型訓練上，強化了強化學習、DPO、模型蒸餾和小樣本學習的支持，并集成了數(shù)據(jù)處理與效果評測，實現(xiàn)大模型開發(fā)端到端覆蓋，進一步簡化了傳統(tǒng)復雜的大模型數(shù)據(jù)處理流程。

　　針對目前日益增大的模型規(guī)模與數(shù)據(jù)量，PAI 還提供多模態(tài)數(shù)據(jù)處理能力，包括視頻理解、圖像處理、關(guān)鍵幀提取、圖像和視頻壓縮等。整個流程從預(yù)訓練數(shù)據(jù)處理到預(yù)訓練模型，再到微調(diào)和服務(wù)，清晰展示和追蹤數(shù)據(jù)模型依賴關(guān)系，結(jié)合 PAI 的推理服務(wù)的升級以及靈活的資源調(diào)度模式，進一步減輕了模型開發(fā)人員負擔。

　　這一切，歸根到底是洞察了企業(yè)客戶的需求，并在持續(xù)創(chuàng)新中完善相關(guān)能力，讓產(chǎn)品更好用，更易用，進一步實現(xiàn)企業(yè) - 數(shù)據(jù) - 模型的良性循環(huán)�；�于需求，持續(xù)創(chuàng)新，最終保持先進，這樣的產(chǎn)品思路同時也融入進了阿里云的 AI 產(chǎn)品創(chuàng)新與業(yè)務(wù)運營之中。

　　以阿里云推出的系列產(chǎn)品推薦計劃“飛天星品”為例，其旨在通過產(chǎn)品推薦讓廣大企業(yè)、開發(fā)者能夠在多達數(shù)百款云產(chǎn)品中，根據(jù)自身業(yè)務(wù)問題，快速定位關(guān)鍵產(chǎn)品需求，輕松選到最好用、最高性價比、最適合自己的云產(chǎn)品。

　　深入業(yè)務(wù)，供需結(jié)合，才能真正讓好的產(chǎn)品有的放矢，不僅在大模型應(yīng)用開發(fā)領(lǐng)域，對于阿里云這樣的頭部 AI 廠商來說，真正結(jié)合生態(tài)，基于企業(yè)和開發(fā)者的真實需求幫助其解決問題，才是 AI 廠商長久發(fā)展的立足之本。

　　4結(jié)語

　　在當前階段，我們對于 AGI 似乎觸手可得，但又遙不可及。大模型應(yīng)用開發(fā)，尤其是以阿里云百煉和 PAI 為代表的技術(shù)，為我們提供了一種可能的路徑。通過深入分析行業(yè)趨勢和未來，我們可以看到，深度結(jié)合實踐需求、精細化、低門檻的產(chǎn)品方向，以及重視投入產(chǎn)出比，已經(jīng)成為行業(yè)發(fā)展的核心要素。在這一背景下，單純的技術(shù)進步已不再是唯一的驅(qū)動力，如何將技術(shù)轉(zhuǎn)化為實際的業(yè)務(wù)價值，才是保持先進的關(guān)鍵。

　　同時，基于阿里云等頭部廠商的實踐，我們也能洞察到“AI 重構(gòu)”的重要性。無論是云原生技術(shù)、算力、訓推一體化，AI 都在引領(lǐng)一場全面的變革。這場變革從“計算”的“虛”出發(fā)，走向“業(yè)務(wù)”的“實”，意味著 AI 技術(shù)正在從單純的計算能力轉(zhuǎn)變?yōu)橥苿訕I(yè)務(wù)創(chuàng)新和轉(zhuǎn)型的核心動力，助力企業(yè)打造面向 AI 時代的原生應(yīng)用與服務(wù)，加速業(yè)務(wù)智能化升級，已經(jīng)成為廠商們目前階段的核心使命。

　　當然，這是一個風口，一個機會，也將開啟廠商之間一場又一場的激烈競爭，大模型應(yīng)用開發(fā)和 AI 重構(gòu)不僅是技術(shù)層面的突破，更將是一場針對商業(yè)模式和產(chǎn)業(yè)實踐的深刻變革。但無論如何，走上牌桌才是關(guān)鍵，正如吳泳銘在2024云棲大會上所說的那樣:“我們認為生成式 AI 將逐漸滲透數(shù)字世界，并接管數(shù)字世界。”對于所有入局者來說，這是一場不容錯過的技術(shù)革命。