大模型一體機填上了多少AI應用落地的“坑”？企業(yè)進軍AI賽道的思路該變了

　　時至今日，隨著越來越多的企業(yè)和機構不斷加速把AI技術融入自己的業(yè)務流程中，AI正持續(xù)改變著千行百業(yè)的業(yè)務模式。

　　在客戶服務領域，聊天機器人已經可以7*24小時提供服務支持，減少了對人工客服的依賴。在供應鏈管理領域，AI正在通過分析歷史銷售數據預測未來需求，幫助企業(yè)更好地規(guī)劃庫存。在制造領域，AI質檢系統(tǒng)能夠自動識別產品缺陷、分類問題并提供實時反饋，從而幫助企業(yè)提升生產質量、減少人工成本以及加快產品上市時間等等。

　　這些AI應用在不同的行業(yè)場景大量涌現(xiàn)，而率先接入AI技術的廠商或企業(yè)也開始嘗到了技術創(chuàng)新所帶來的發(fā)展紅利。市場對AI的熱情日益增長，與此同時，技術的迭代似乎也不可避免地抬高后來者的進入門檻，新的應用挑戰(zhàn)和落地難題在不斷被放大。

　　對于沒有深厚AI技術積累的企業(yè)而言，應該如何趕上這波紅利?市場同樣在尋求解答思路，而大模型一體機的走紅恰好在這個節(jié)點上為行業(yè)指明了路徑。

　　在2024中國算力大會期間，浪潮信息重磅發(fā)布元腦企智EPAI一體機，通過軟硬件高度協(xié)同的一體化設計，為客戶提供多元多模、簡單易用、本地部署、安全可靠的大模型開發(fā)平臺。——這樣的解題思路無疑將成為行業(yè)的共識，但是具體來看，大模型一體機應該如何幫助廣大企業(yè)群體找到更省心、更快速的AI引用落地路徑，從而加速大模型產業(yè)化落地?這樣的問題還得回歸行業(yè)中去尋找具體的答案。

　　四大挑戰(zhàn)，讓企業(yè)望“AI”興嘆

　　隨著大模型技術不斷升級和成熟，盡管應用前景廣闊，但在實際部署過程中，許多企業(yè)仍面臨著諸多挑戰(zhàn)。如果不克服這些挑戰(zhàn)，就很難實現(xiàn)大模型應用系統(tǒng)性的落地。

　　其一，由于產業(yè)生態(tài)離散以及行業(yè)應用的具體需求，大模型落地面臨著多元多模適配難的困境。一方面，從芯片到軟件框架，再到模型本身，不同廠商提供的產品存在數據源不同、技術標準不一等情況，很難進行統(tǒng)一適配，易用性差，需要企業(yè)在應用的過程中處理好多元多模的問題，即做出選擇、做好兼容，才能完成AI應用的落地。

　　另一方面，源于行業(yè)場景的復雜性，單一的算力資源和大模型產品很難完美地解決實際性問題。多元多模是企業(yè)面向場景問題落地大模型應用的一個必要配置，即兼顧多元算力和多樣大模型的選擇、適配與協(xié)同。

　　比如，在一個常見的智能交通場景，短期內的車流監(jiān)控會采用邊緣算力和面向交通場景的端側大模型進行實時處理，而長期積累下來的交通監(jiān)控數據則會傳回云端，采用云端算力和云端的通用大模型進行分析、解讀，以輔助交通部門對城市道路的交通情況進行調控。——這樣的場景需要多元多模的思路來解決，也必然要解決好多元多模問題才能完美實現(xiàn)。

　　其二，計算模式的選擇將影響大模型開發(fā)與落地的實際效率。目前來看，以云邊端為主導的計算模式正在成為AI產業(yè)發(fā)展的一個主流趨勢，綜合性的計算解決方案可以結合邊緣計算的低延遲和云服務的強大計算能力，通過合理的任務分配實現(xiàn)最佳性能。

　　但是問題的關鍵則在于，綜合性的計算解決方案會促使系統(tǒng)設計和管理變得更加復雜，需要考慮如何有效地劃分任務以及協(xié)調不同節(jié)點之間的通信，解決好異構算力的調度難題。簡單來說，企業(yè)落地大模型應用無法再單一地依賴云計算，而需要考慮到邊緣計算與實際場景需求的適配，否則就會直接影響大模型開發(fā)和應用的效率。

　　其三，數據治理難的問題再上一個層級。數據是AI系統(tǒng)的“燃料”，沒有高質量的數據，就無法訓練出高性能的模型。長期以來，數據治理就是一條復雜的鏈條，包括了數據的識別、清洗、標注、分類、存儲、應用等多個環(huán)節(jié)。

　　過去，業(yè)內試圖在云端打造一條完整的數據治理鏈條，但隨著大模型應用走向深實，越來越多的企業(yè)開始意識到核心的數據資產過于敏感，放在云端難以保障隱私和安全性，開始尋求“數據不出域”的解決方案。而這樣的解決方案不僅需要構建一條同樣完整的端側數據治理鏈條，做好本地數據與端側大模型的匹配協(xié)同，還需要進一步與云端數據治理解決方案融合，無形之中又加劇了數據治理的難度。

　　其四，學習成本高的問題始終困擾企業(yè)開發(fā)和落地大模型應用。綜上，不難發(fā)現(xiàn)，不管是多元多模的客觀問題，還是基于多元多模所延伸出來的計算模式、數據治理等難題，對于企業(yè)而言都意味著高門檻。如果企業(yè)內部沒有深厚技術積累的IT團隊，解決好這些問題的難度還將上升，難以估量。

　　因此，擺在行業(yè)面前的是一個進階的問題，不僅要解決好客觀存在的技術性問題，還要進一步降低企業(yè)的應用門檻，讓沒有IT團隊或沒有深厚AI技術積累的企業(yè)能在不增加太多成本的情況下獲得更省心更快速的大模型開發(fā)和應用解決方案，完成AI落地。

　　大模型一體機，能讓企業(yè)少走多少彎路?

　　大模型一體機的出現(xiàn)以及在市場上走紅，似乎給行業(yè)提出了一條切實可行的路徑。具體來看，以浪潮信息發(fā)布的元腦企智EPAI一體機為例，其基于三點進階能力讓企業(yè)在落地大模型應用的過程中少走了不少彎路。

　　一、基礎底座的打造，避免大模型應用根基不穩(wěn)。

　　很多企業(yè)在落地大模型應用的過程中，一上手就先基于通用大模型做業(yè)務開發(fā)。當業(yè)務開發(fā)不少了，才發(fā)現(xiàn)算力不夠用、模型消耗太大，對業(yè)務的適配性太弱等問題開始暴露。這個時候，就不得不回過頭來重新構建“算力+模型”的基礎底座，再把開發(fā)完成的業(yè)務重新進行適配或遷移，工程量就大了。而元腦企智EPAI一體機具備多元算力和多模管理能力，一臺機器就可以率先幫助企業(yè)穩(wěn)定基礎底座的構建。

　　一方面，元腦企智EPAI一體機可以通過大模型計算框架TensorGlue實現(xiàn)異構算力調度，同時通過算子基礎化技術，還實現(xiàn)了上層模型算法和下層基礎設施的邏輯解耦，能高效地屏蔽模型和芯片差異，從而降低企業(yè)跨算力平臺遷移、多元模型部署適配的試錯成本。另一方面，元腦企智EPAI一體機目前還支持10+業(yè)界主流大模型計算框架，同時也內置了7個主流基礎大模型，預設了20+微調參數，企業(yè)根據不同的場景和業(yè)務需求可以快速開發(fā)模型應用

　　二、全流程工具提供，解決企業(yè)上手難的問題。

　　大模型應用落地難度大對于企業(yè)而言，不僅是“算力+模型”的選擇與適配，還有后續(xù)一系列流程如數據、微調、RAG、部署、上線、運維等環(huán)節(jié)的理解與攻關。而在這個方面，浪潮信息的研發(fā)團隊自2007年起就開始在異構加速計算以及背后一系列的工作。時至今日，這種長期的探索和積累正在通過元腦企智EPAI一體機轉化為一站式大模型開發(fā)解決方案開放給行業(yè)客戶。

　　根據浪潮信息產品方案開發(fā)部總經理魏健介紹，元腦企智EPAI一體機提供從數據準備、大模型微調、知識庫構建、大模型部署上線運維的全流程支持工具鏈，將快速且低成本地幫助企業(yè)構建開發(fā)專屬大模型的能力。比如，針對大模型微調，元腦企智EPAI一體機采用低代碼可視化界面來進行微調，并且內置了Lora、SFT等多種微調框架以及20多種優(yōu)化參數。用戶可依據具體業(yè)務需求和數據特性，選擇最為合適的框架與技術。

　　三、本地化部署思維，免去后顧之憂。

　　在大模型產業(yè)發(fā)展的過程中，云端部署的風險和弊端逐步顯露，企業(yè)的關注點也開始從云端轉向云、邊、端一體，愈發(fā)注重本地化部署模式的結合。特別是數據不出域的需求，決定了企業(yè)在進行大模型應用落地的過程中比以往更重視本地化部署。

　　在這個節(jié)點上，元腦企智EPAI一體機的本地化部署模式提供全鏈路的企業(yè)數據防護能力，設置多級過濾和審核體系，不管是部署模式還是安全能力，都非常好地幫助用戶解決好數據治理問題，不用擔心大模型應用落地一段時間后還要再考慮數據是否安全、會不會被泄漏等后續(xù)問題，免除了企業(yè)發(fā)展AI的后顧之憂。

　　總的來說，“算力+模型”基礎底座全面且穩(wěn)定，當前憑借全流程工具鏈易上手，未來基于本地化部署模式無后顧之憂，元腦企智EPAI一體機所提供的解決方案既兼顧當前的應用落地問題，也考慮到了未來長期主義的發(fā)展。——企業(yè)在落地大模型應用時，就不需要再重復繞彎子，直接底座構建-工具鏈開發(fā)應用-本地化部署一條路走到底。

　　站在前人的經驗中，把未來的發(fā)展時間搶回來

　　大模型一體機意味著什么?從浪潮信息的元腦企智EPAI一體機或是業(yè)內其他廠商的產品，可以看到大模型一體機正在綜合過去企業(yè)落地AI應用的各種路徑和經驗，以集成化、智能化的思路最終形成了當前的解決方案，僅憑一臺機器就解決了大模型應用開發(fā)的諸多問題。

　　不可置否，AI行業(yè)日新月異，在這個不斷迭代、交替的過程中，前人已經走了不少彎路。比如，過去很多企業(yè)落地大模型應用，大多是在云平臺上基于通用大模型進行開發(fā)，隨著業(yè)務深入，進而尋求行業(yè)大模型、企業(yè)大模型的專精開發(fā)，再意識到云計算所提供的算力不夠用，開始轉向邊緣計算，探索云邊端一體的發(fā)展。

　　這是一種自上而下的視角。一路走來，我們也很容易意識到大模型應用落地的問題出在哪里。如今，基于前人的經驗，大模型一體機則有機會針對性地解決這些問題，提供了一個自下而上的發(fā)展視角。

　　正如元腦企智EPAI一體機所帶來的解決方案，一上來就先系統(tǒng)地解決好多元算力、多模應用的基礎底座構建問題以及后續(xù)的本地數據治理問題，然后再一步步向上推進，依托全流程工具鏈做好應用開發(fā)，從而幫助企業(yè)規(guī)避前人走過的“坑”。

　　未來，如果企業(yè)的業(yè)務繼續(xù)向智能化轉型，只需要在頂層做好大模型應用開發(fā)即可，不需要再回過頭來做底層的基礎設施重構或遷移。在發(fā)展上，這就相當于把未來的時間搶了回來。

　　隨著大模型技術越來越普遍，企業(yè)的發(fā)展亟需智能化應用提高效率，少回頭一步，企業(yè)越能在日益激烈的市場競爭中搶占幾分優(yōu)勢，率先吃到技術創(chuàng)新的紅利。由此，大模型一體機或許才會在現(xiàn)階段出現(xiàn)并迅速火爆，成為業(yè)內的共識吧。