52萬張GPU集群塞進(jìn)一個(gè)「盒子」？AI神器破解百模爭(zhēng)霸困局！

　　【新智元導(dǎo)讀】「算力」堪稱是AI時(shí)代最大的痛。在國(guó)外，OpenAI因?yàn)槲④浽霨PU集群的速度太慢而算力告急。在國(guó)內(nèi)，企業(yè)則面臨著「模型算力太多元、產(chǎn)業(yè)生態(tài)太分散」這一難題。不過，最近新誕生的一款「AI神器」，令人眼前一亮。

　　如今，快速靈活地獲取算力可謂是剛需，就連OpenAI也不例外。

　　最近，The Information爆料:曾經(jīng)約定微軟是獨(dú)家云服務(wù)器供應(yīng)商的OpenAI，已經(jīng)開始找其他家要買算力了。

　　原因就在于，微軟提供算力的速度太慢了!

　　OpenAI既想要微軟提供更先進(jìn)、算力更強(qiáng)的GPU集群，又要他們加快建設(shè)進(jìn)度。

　　但微軟的計(jì)劃是，在明年年底之前為OpenAI提供約30萬塊英偉達(dá)GB200。

　　于是，OpenAI找到了甲骨文，開始洽談一個(gè)預(yù)計(jì)可在2026年中獲得幾十萬塊英偉達(dá)AI芯片的數(shù)據(jù)中心項(xiàng)目。

　　無獨(dú)有偶，在算力需求這一塊，國(guó)內(nèi)智能算力的年復(fù)合增長(zhǎng)率預(yù)計(jì)也將達(dá)到33.9%。

　　但在更進(jìn)一步的大模型落地上，相比起只缺算力的OpenAI，國(guó)內(nèi)的企業(yè)則面臨著更多的挑戰(zhàn)，比如算力資源管理困難、模型微調(diào)復(fù)雜等等。

　　模型算力太多元，產(chǎn)業(yè)生態(tài)太離散

　　根據(jù)賽迪研究院的數(shù)據(jù)，2023年我國(guó)生成式人工智能企業(yè)采用率達(dá)15%，市場(chǎng)規(guī)模約14.4萬億元。

　　另一方面據(jù)公開數(shù)據(jù)顯示，2023年全年，國(guó)內(nèi)市場(chǎng)對(duì)大模型公開招投標(biāo)的項(xiàng)目只有不到200家，金額5個(gè)多億;而到了2024年，僅上半年的項(xiàng)目就達(dá)到了486個(gè)，金額13個(gè)多億。

　　其中，軟件的占比在2023年為11%，而2024年上半年卻只有5%。相比之下，大模型相關(guān)服務(wù)則從去年的17%暴漲到今年上半年的30%。也就是說，企業(yè)對(duì)大模型硬件和服務(wù)的需求，基本占了90%以上。

　　對(duì)比可以發(fā)現(xiàn)，模型應(yīng)用和市場(chǎng)趨勢(shì)之間，存在著巨大的鴻溝。

　　造成這一現(xiàn)象的原因，首先，就是大模型的幻覺問題。

　　大模型在預(yù)訓(xùn)練階段所用的知識(shí)是通用為主，但在企業(yè)的專業(yè)領(lǐng)域中，如果還是以算概率來驅(qū)動(dòng)的方式生硬輸出，就會(huì)答非所問。

　　第二，要實(shí)現(xiàn)大模型與行業(yè)場(chǎng)景的深度結(jié)合，應(yīng)用開發(fā)流程復(fù)雜，應(yīng)用門檻高。

　　微調(diào)、RAG都要分多個(gè)子步驟，應(yīng)用開發(fā)還需要不同專業(yè)團(tuán)隊(duì)長(zhǎng)期協(xié)作，研發(fā)難度大，耗時(shí)也很長(zhǎng)。

　　第三，在不同場(chǎng)景下，不同業(yè)務(wù)對(duì)模型能力有多樣需求，比如推理速度快、生成精度高、函數(shù)和代碼能力強(qiáng)。

　　由于業(yè)務(wù)生成環(huán)境往往的多模并存，使用的算力資源也是多元并用的。多模和多元的適配問題，常需要軟件整個(gè)重構(gòu)，難度大，成本高。

　　此外，在產(chǎn)業(yè)生態(tài)上，從芯片到軟件框架，再到模型本身，不同廠商的產(chǎn)品數(shù)據(jù)源不同、技術(shù)標(biāo)準(zhǔn)不一，很難統(tǒng)一適配。

　　在本地化的大模型應(yīng)用生成與落地中，這些挑戰(zhàn)會(huì)更加顯著。

　　如何才能讓企業(yè)(尤其是傳統(tǒng)企業(yè))的大模型應(yīng)用迅速落地?

　　這時(shí)，業(yè)內(nèi)迫切地需要高效、易用、端到端的軟硬一體化解決方案，來支撐大模型行業(yè)落地。

　　如果有這樣一種開箱即用的產(chǎn)品，無論是模型本身、應(yīng)用開發(fā)，還是算力問題，都能迎刃而解。

　　算力即得

　　針對(duì)這些痛點(diǎn)，LANGCHAO信息推出了堪稱AI應(yīng)用開發(fā)「超級(jí)工作臺(tái)」的元腦企智EPAI一體機(jī)。

　　從算力、平臺(tái)，到服務(wù)，提供了一站式大模型開發(fā)平臺(tái)。

　　面向真實(shí)場(chǎng)景，平臺(tái)提供了數(shù)據(jù)處理工具、模型微調(diào)工具、增強(qiáng)知識(shí)檢索工具、應(yīng)用開發(fā)框架等。

　　而根據(jù)不同模型的能力特點(diǎn)，平臺(tái)還支持調(diào)用多模態(tài)算法和多元算力。

　　最強(qiáng)AI算力平臺(tái)

　　為了覆蓋不同的需求，一體機(jī)共有5種規(guī)格——基礎(chǔ)版、標(biāo)準(zhǔn)版、創(chuàng)新版、高級(jí)版、集群版。

　　總的來說，元腦企智EPAI一體機(jī)具備了卓越的算力性能和極致的彈性架構(gòu)，可支持延時(shí)RDMA網(wǎng)絡(luò)和高性能并行存儲(chǔ)。

　　它們通過分布式并行加速、混合精度計(jì)算、高性能算子技術(shù)，提升了模型的訓(xùn)練和推理速度，實(shí)現(xiàn)應(yīng)用高并發(fā)高能效處理、業(yè)務(wù)快速上線的需求。

　　在訓(xùn)練穩(wěn)定性方面，元腦企智EPAI一體機(jī)專為L(zhǎng)LM訓(xùn)練微調(diào)優(yōu)化提供了斷點(diǎn)續(xù)訓(xùn)能力，為大模型訓(xùn)練保駕護(hù)航，優(yōu)化升級(jí)算力池化與分配策略，支持按需彈性擴(kuò)縮容。

　　接下來，分別看下五個(gè)一體機(jī)不同的特點(diǎn)。其中，創(chuàng)新版、高級(jí)版和集群版均能同時(shí)支持訓(xùn)練和推理。

　　面向模型推理的基礎(chǔ)版配備了8塊4090D GPU，性價(jià)比最高

　　標(biāo)準(zhǔn)版則搭載了基于Hopper架構(gòu)的HGX模塊化AI超算平臺(tái)，8顆GPU通過NVlink高效互聯(lián)

　　創(chuàng)新版可以為多元算力提供深度適配

　　高級(jí)版專為那些對(duì)算力有極高需求的客戶而定制，并且提供了訓(xùn)推全流程自動(dòng)化開發(fā)測(cè)試工具鏈

　　集群版，顧名思義就是機(jī)柜級(jí)的訓(xùn)推一體機(jī)——為那些業(yè)務(wù)規(guī)模較大，有分期建設(shè)、按需擴(kuò)展需求的企業(yè)所定制的最高配

　　值得一提的是，在網(wǎng)絡(luò)單元上，集群版配備了LANGCHAO信息自研的「大模型專用交換機(jī)」——超級(jí)AI以太網(wǎng)交換機(jī)X400。

　　它最高能夠擴(kuò)展到524，288張GPU的超大規(guī)模AI算力系統(tǒng)，而且憑借AR自適應(yīng)路由、端到端擁塞控制、亞毫秒級(jí)故障自愈等技術(shù)，性能提升至傳統(tǒng)RoCE網(wǎng)絡(luò)的1.6倍。

　　由此，大型集群實(shí)現(xiàn)了超高吞吐量、高可擴(kuò)展性和超高可靠性。在LLM訓(xùn)練性能提升同時(shí)，也大幅縮短訓(xùn)練時(shí)長(zhǎng)、降低訓(xùn)練成本。

　　除了硬件上的創(chuàng)新之外，所有的一體機(jī)也全部預(yù)置了元腦企智(EPAI)大模型開發(fā)平臺(tái)。

　　這種軟硬一體化交付，正是LANGCHAO信息一體機(jī)最大優(yōu)勢(shì)所在。

　　開箱即用

　　有了元腦企智EPAI，LANGCHAO信息的一體機(jī)才能為企業(yè)客戶們，提供開箱即用的能力。

　　更具體地講，元腦企智EPAI是專為企業(yè)AI大模型應(yīng)用，高效、易用、安全落地而打造的端到端開發(fā)平臺(tái)。

　　從數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、知識(shí)檢索、應(yīng)用框架等工具全面涉及，而且還支持調(diào)度多元算力和多元模型。

　　元腦企智EPAI的完整架構(gòu)

　　多元多模

　　首先，元腦企智EPAI平臺(tái)最核心的一部分是，平臺(tái)底座能夠適配多元多模的基礎(chǔ)設(shè)施。

　　多元多模計(jì)算框架TensorGlue

　　多模是指，支持多種模型和多種計(jì)算框架。

　　其中，預(yù)置了Yuan2.0、Baichuan2、ChatGLM3、Qwen1.5、GLM4、Llama3等7個(gè)基礎(chǔ)大模型，以及應(yīng)用DEMO樣例。

　　還有10+計(jì)算框架(MegtronLM、DeepSpeed、Pytorch、Transformer、Llamafactory、Fastchat等)，以及多種微調(diào)能力，如監(jiān)督微調(diào)、直接偏好優(yōu)化、人類反饋強(qiáng)化學(xué)習(xí)等。

　　同時(shí)，它還能廣泛支持主流基礎(chǔ)大模型結(jié)構(gòu)，支持與用戶自研模型的靈活適配和對(duì)接。

　　多元算力管理調(diào)度AIStation

　　而AIStation的作用在于，能夠?qū)χС殖瑪?shù)千節(jié)點(diǎn)的AI服務(wù)器。

　　它可以進(jìn)行異構(gòu)算力集群的統(tǒng)一池化管理，通過自適應(yīng)系統(tǒng)將訓(xùn)練底層的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)環(huán)境實(shí)現(xiàn)自動(dòng)化配置。

　　從開發(fā)、訓(xùn)練、微調(diào)，再到應(yīng)用部署，EPAI能夠?qū)崿F(xiàn)全生命周期監(jiān)管和異常全自動(dòng)化處理。

　　而且針對(duì)不同業(yè)務(wù)場(chǎng)景，設(shè)備故障自動(dòng)容錯(cuò)，保證業(yè)務(wù)時(shí)長(zhǎng)高效、穩(wěn)定運(yùn)行。

　　簡(jiǎn)單易用

　　一體機(jī)的簡(jiǎn)單易用，便體現(xiàn)在了數(shù)據(jù)準(zhǔn)備/生成、微調(diào)訓(xùn)練、推理部署中，全部實(shí)現(xiàn)自動(dòng)化。

　　從企業(yè)大模型開發(fā)部署業(yè)務(wù)流程來看，具備通用知識(shí)的LLM，就像剛畢業(yè)的大學(xué)生一樣，需要學(xué)習(xí)企業(yè)知識(shí)。

　　因此，第一步數(shù)據(jù)最關(guān)鍵。

　　高質(zhì)量數(shù)據(jù)自動(dòng)生成

　　當(dāng)前互聯(lián)網(wǎng)訓(xùn)練數(shù)據(jù)遠(yuǎn)遠(yuǎn)不足，尤其是專業(yè)化的數(shù)據(jù)，而AI數(shù)據(jù)生成恰好能彌補(bǔ)這一弊端。

　　高質(zhì)量數(shù)據(jù)，才是保障AI模型應(yīng)用效果的第一要素。

　　那么企業(yè)如何在種類多樣、規(guī)模龐大數(shù)據(jù)庫(kù)中，生成微調(diào)數(shù)據(jù)，并減少處理成本?又該如何將專業(yè)化數(shù)據(jù)為模型所用?

　　元腦企智EPAI平臺(tái)通過高質(zhì)量數(shù)據(jù)生成，攻破了難題。

　　企業(yè)僅需將原始數(shù)據(jù)上傳，元腦企智EPAI將其提取為文本txt，各種結(jié)構(gòu)化/非結(jié)構(gòu)化文檔均可支持。

　　然后利用大模型生成問題答案對(duì)，也就是可以直接微調(diào)使用的數(shù)據(jù)。

　　最后一步通過「微調(diào)數(shù)據(jù)增強(qiáng)」讓AI再自動(dòng)生成同類型、同主題高質(zhì)量微調(diào)數(shù)據(jù)。

　　這一過程，還會(huì)對(duì)數(shù)據(jù)抽取后，進(jìn)行向量編碼。

　　舉個(gè)栗子，「Apple」會(huì)被編碼成很長(zhǎng)一個(gè)向量，其中含了很多豐富的語(yǔ)義信息。它可能代表水果一類，也可能代表蘋果公司等等。

　　全鏈路微調(diào)訓(xùn)練工具

　　有了數(shù)據(jù)，接下來就要微調(diào)模型了。

　　好在元腦企智EPAI平臺(tái)對(duì)LLM微調(diào)時(shí)所需的環(huán)境、框架、配置代碼等一系列流程，完成了封裝。

　　開發(fā)者無需動(dòng)手寫代碼，就能微調(diào)出領(lǐng)域大模型。

　　從數(shù)據(jù)導(dǎo)入、訓(xùn)練參數(shù)配置、資源類型配置等均由平臺(tái)自動(dòng)管理，大幅提升微調(diào)任務(wù)的效率。

　　訓(xùn)練微調(diào)完成后，模型部署和上線也是由元腦企智EPAI接手，還提供了多種評(píng)估的方式。

　　總之，高效的數(shù)據(jù)處理工具，支持微調(diào)數(shù)據(jù)自動(dòng)生成和擴(kuò)展，為模型微調(diào)訓(xùn)練提供豐富數(shù)據(jù)源;豐富、完整的模型訓(xùn)練工具，支持SFT優(yōu)化方式，訓(xùn)練之后支持一鍵部署。

　　此外，元腦企智EPAI還支持API、對(duì)話式UI、智能體三類使用方式。

　　如下是對(duì)話式UI界面的樣子。

　　支持RAG，彌補(bǔ)LLM知識(shí)無法及時(shí)更新難題

　　另外，還需考慮的一個(gè)問題是，LLM幻覺之所產(chǎn)生，是因?yàn)闊o法及時(shí)獲取到新知識(shí)。

　　而元腦企智EPAI集成了LANGCHAO信息自研的RAG系統(tǒng)，幫助大模型提升了應(yīng)用效果。

　　僅需上傳一個(gè)原始文檔，就可以讓LLM基于文檔內(nèi)容，進(jìn)行精準(zhǔn)問答和信息檢索，快速構(gòu)建出領(lǐng)域問答能力。

　　同時(shí)，它還預(yù)置了一億條的基礎(chǔ)知識(shí)庫(kù)，能夠?qū)崿F(xiàn)端到端30%召回率。

　　在話式UI界面中，知識(shí)庫(kù)管理中可以上傳企業(yè)、行業(yè)、基礎(chǔ)三大類知識(shí)。

　　它還支持檢索溯源、混合檢索、結(jié)果重排，由此可以提升端到端檢索精度。

　　數(shù)據(jù)安全，隱私保護(hù)

　　一體機(jī)另一個(gè)優(yōu)勢(shì)在于， 能夠保護(hù)企業(yè)的私有數(shù)據(jù)不出域，杜絕數(shù)據(jù)風(fēng)險(xiǎn)。

　　內(nèi)置的元腦企智EPAI平臺(tái)，可以提供全鏈路的防護(hù)，從文件級(jí)數(shù)據(jù)加密、訪問控制，到數(shù)據(jù)存儲(chǔ)、備份恢復(fù)。

　　它可以精準(zhǔn)控制每個(gè)用戶數(shù)據(jù)、模型、知識(shí)庫(kù)、服務(wù)的權(quán)限，保障多場(chǎng)景使用安全。

　　還有內(nèi)容多級(jí)過濾和審核體系，對(duì)用戶輸入、模型輸出進(jìn)行快速、準(zhǔn)確審核，保障生成內(nèi)容的安全性與隱私性。

　　AI應(yīng)用，每個(gè)企業(yè)皆可開發(fā)

　　正是因?yàn)橛幸陨戏N種優(yōu)勢(shì)，元腦企智EPAI能廣泛地賦能企業(yè)內(nèi)部的各類應(yīng)用場(chǎng)景。

　　比如研發(fā)的代碼生成、部門助理，生產(chǎn)的故障識(shí)別、維修方案生成，銷售的智能客服、文案協(xié)作，行政的招聘助手，公文寫作等。

　　開發(fā)速度快到低至1周，培訓(xùn)周期短到最快3天。

　　在LANGCHAO信息內(nèi)部，元腦企智EPAI就已經(jīng)大大加快了大家的工作流。

　　以前如果有數(shù)百萬行私有代碼，注釋少，可讀性差，需要參考幾十頁(yè)上下文的PDF，專業(yè)工程師單個(gè)函數(shù)開發(fā)就需要3周。

　　但現(xiàn)在LANGCHAO信息利用智能編程助手，可以直接把開發(fā)周期縮短至2天。

　　它能對(duì)數(shù)十萬行代碼自動(dòng)解析，由AI自動(dòng)生成超過65%的計(jì)算框架代碼，為研發(fā)工程師每天節(jié)省了近3個(gè)小時(shí)的代碼。

　　而基于元腦企智EPAI打造的智能客服大腦「源小服」，涵蓋了10+年的產(chǎn)品資料和5000+復(fù)雜場(chǎng)景，直接學(xué)習(xí)了2萬余份產(chǎn)品文檔、用戶手冊(cè)，百萬余條對(duì)話等材料。

　　對(duì)于常見技術(shù)問題的解決率達(dá)到了80%，整體服務(wù)效率提升了160%，斬獲了《哈佛商業(yè)評(píng)論》「鼎革獎(jiǎng)」的年度新技術(shù)突破獎(jiǎng)。

　　百模爭(zhēng)霸，不再卡在落地

　　因?yàn)榫哂幸陨蟽?yōu)勢(shì)，元腦企智EPAI一體機(jī)就為用戶解決了燃眉之急。

　　其中一類重要客戶，就是傳統(tǒng)制造業(yè)客戶。

　　尤其是大型制造業(yè)客戶，無論是CIO、團(tuán)隊(duì)，還是三產(chǎn)公司，在數(shù)據(jù)、人員、技術(shù)方面都有很多積累，而應(yīng)用本身也有應(yīng)用牽引的趨勢(shì)。

　　而另一類，就是傳統(tǒng)的ISV(獨(dú)立軟件開發(fā)商)客戶。

　　對(duì)于他們，LANGCHAO信息有上百號(hào)博士團(tuán)隊(duì)在做算力、算法、框架的應(yīng)用開發(fā)工作，在算力上也很強(qiáng)，優(yōu)勢(shì)明顯。

　　還有一些用戶，需要有對(duì)大模型專門的調(diào)優(yōu)能力。

　　目前的情況是，對(duì)于非常專業(yè)的應(yīng)用領(lǐng)域，國(guó)內(nèi)能賣相關(guān)服務(wù)不多，花很高的代價(jià)，也未必找得到。

　　原本LANGCHAO信息有這個(gè)能力，但沒有開放。如今，LANGCHAO信息把經(jīng)驗(yàn)、服務(wù)都集成到了一體機(jī)的產(chǎn)品中，正好滿足了他們的需求。

　　在LANGCHAO信息看來，如今大模型落地的最大痛點(diǎn)，不是算法，也不是產(chǎn)品，而是行業(yè)的know-how。

　　如果數(shù)據(jù)不ready，也很難通過一個(gè)工具、一個(gè)軟件或一臺(tái)設(shè)備去解決。

　　但這時(shí)如果有一個(gè)一體機(jī)的產(chǎn)品，還能跟懂行業(yè)、懂?dāng)?shù)據(jù)但不懂AI的ISV互相賦能，大模型的落地就會(huì)變得很容易。

　　從2021年開始到現(xiàn)在，LANGCHAO信息已成行業(yè)里的骨灰級(jí)玩家。比如2021年做完源1.0后，22年LANGCHAO信息就已經(jīng)在用RAG做內(nèi)部智能客服系統(tǒng)。

　　如今，憑著對(duì)模型本身的know-how，以及模型使用上的know-how，LANGCHAO信息再次賦能自己的合作伙伴，加速企業(yè)大模型應(yīng)用開發(fā)，打通了大模型落地最后一公里的難題。