中國大模型的實用性正在吊打OpenAI

　　近日，獵戶星空突然連著出了兩件“大”事。

　　首先是在國內(nèi)，曾經(jīng)勢不兩立的傅盛和周鴻祎，居然在1月21日獵戶星空大模型發(fā)布會上共坐一堂，甚至聊的歡聲笑語。

　　要知道，自從2008年徹底鬧掰后，兩人十幾年勢同水火，矛盾逐漸升級到了對簿公堂的地步。而這次，被稱為“紅衣教主”“紅衣大炮”的周鴻祎，卻表示“不是來懟的…而是抱著學(xué)習(xí)的態(tài)度”，場面和諧到讓不少人紛紛表示“品出了世紀(jì)大和解的味道”。

　　隨著1月21日獵戶星空大模型Orion-14B系列正式發(fā)布，雙方更是針對大模型再次“唇槍舌劍”，據(jù)了解，該模型具備140億參數(shù)規(guī)模，涵蓋了中文、英語、日語、韓語等多種語言，效果炸裂。憑借在多語言環(huán)境下一系列任務(wù)中所展現(xiàn)出的卓越性能，模型一經(jīng)發(fā)布便在海外迅速引發(fā)了熱議。

　　有日本網(wǎng)友表示，看演示感覺日語似乎相當(dāng)流利。

　　有開發(fā)者表示“這是我見過的最全面的基準(zhǔn)模型之一!為獵戶星空團(tuán)隊的全面工作點贊”。

　　有網(wǎng)友表示“模型看起來非常強(qiáng)大。我喜歡他們列出的所有基準(zhǔn)分?jǐn)?shù)，真的能給人很好的整體感覺”。

　　還有網(wǎng)友表示“希望他們能用RAG(檢索增強(qiáng)生成)測試更多數(shù)據(jù)提取任務(wù)模型”。

　　YouTube上網(wǎng)友表示，獵戶星空團(tuán)隊的研究工作很philosophical

　　同樣都是大模型，獵戶星空Orion-14B有什么不一樣?

　　1、獵戶星空大模型“Think Different”

　　本次發(fā)布的Orion-14B，實際上是由7個版本組成的系列，分別是基座模型、對話模型、長上下文模型、 RAG 模型、插件模型，以及兩個量化模型。

　　其中基座模型是在一個龐大且多樣化的數(shù)據(jù)集上進(jìn)行訓(xùn)練的，數(shù)據(jù)集規(guī)模達(dá)到了2.5萬億token，為了確保模型能夠理解和生成多種語境下的文本，該數(shù)據(jù)集不僅覆蓋了常見的語言，還涵蓋了專業(yè)術(shù)語和特定領(lǐng)域知識。

　　Orion-14B基座版在20B參數(shù)級別大模型綜合評測效果表現(xiàn)優(yōu)異，并且在MMLU、C-Eval、CMMLU、GAOKAO、BBH等第三方測試集上都達(dá)到了SOTA(State-of-the-Art，指在該項研究任務(wù)中，目前最好/最先進(jìn)的模型)水平。

　　長上下文模型可支持320k的超長文本，并在200k token長度上效果優(yōu)異，在長文本評估集上，性能甚至能比肩專有模型。也就是說，我們一次性錄入一本三十萬字的小說后，將其中任意位置的關(guān)鍵信息隱藏掉，再對模型進(jìn)行提問，大模型給出的結(jié)果依然能夠做到100%正確。

　　而量化版更是在性能上實現(xiàn)了大幅優(yōu)化。模型大小縮小70%，推理速度提升30%，性能損失小于1%，極大降低了硬件運行的門檻。即便是千元級別的顯卡，運行量化版模型也能做到流暢運行。在NVIDIA RTX 3060顯卡實測，推理速度可達(dá)31 token/s (約每秒50漢字)，但性能幾乎無損。

　　在多語言能力方面Orion-14B也表現(xiàn)優(yōu)異，尤其是在日語、韓語測試集上，評測結(jié)果全球第一。

　　但最讓人印象深刻的，是Orion-14B極度反差的小體量和大成就。

　　2、百億參數(shù)做出千億效果

　　大模型，顧名思義，重點在一個“大”字。

　　隨著硬件性能和算法的提升，大模型的門檻也在不斷提高。以前，10億參數(shù)即可稱為大模型，現(xiàn)在都是百億起步。但隨著模型越來越大，兩個隱患也逐漸顯露出來。

　　一方面，大模型的發(fā)展受制于芯片產(chǎn)能。近年來，缺芯問題一直都沒有得到過很好的緩解，就連OpenAI都要開始自研芯片，以備未來的不時之需。

　　另一方面，模型越大越燒錢，這對企業(yè)發(fā)展的可持續(xù)性提出了嚴(yán)峻的挑戰(zhàn)。同樣是OpenAI，一天70萬美元的燒錢速度，即便是獲得了微軟巨額投資，也無法完全打消投資者的“OpenAI破產(chǎn)焦慮”。

　　周鴻祎認(rèn)為，當(dāng)下的大模型市場，正在進(jìn)入一個兩極分化的勢態(tài)。一方面，大廠在追求模型體量方面將會越來越放肆，我們有望看到千億、萬億級別的大模型的出現(xiàn);而另一方面，也會有越來越多的企業(yè)嘗試將大模型做小。

　　在傅盛看來，這兩個陣營卷向了不同的方向：一個在卷“誰能造出愛因斯坦”，另一個則是追求“誰能造出平民化大模型”。

　　獵戶星空顯然屬于后者。

　　站在早期大模型的角度，140億的確可以算是非常大的模型了，但在當(dāng)下動輒數(shù)百億參數(shù)的大模型面前，140億就成了“輕量級選手”。但重量輕，并不代表力道不如重量級。

　　Orion-14B是一個“精打細(xì)算”過的大模型，這一點，從“700億以下參數(shù)基座模型中文數(shù)據(jù)集的綜合測評結(jié)果”中就能看出來。在第三方評測機(jī)構(gòu)OpenCompass中，Orion-14B在700億以下這個量級排名第一，甚至超過了某些超700億數(shù)據(jù)的大模型。

　　不僅如此，獵戶星空還針對不同應(yīng)用場景，將模型做了拆分，這就不得不提到Orion-14B的RAG模型和微調(diào)模型。

　　構(gòu)建并維護(hù)企業(yè)私域知識庫，可以有效的提高企業(yè)內(nèi)部管理效率。目前普遍采用的檢索增強(qiáng)生成(RAG)技術(shù)，可以實現(xiàn)無代碼形式，構(gòu)建定制化的企業(yè)私域知識庫應(yīng)用。

　　為此，獵戶星空通過針對知識邊界控制、問答對生成、幻覺控制、結(jié)構(gòu)化數(shù)據(jù)提取等能力進(jìn)行專項微調(diào)后，推出的RAG能力微調(diào)模型 (Orion-14B-RAG)，在檢索增強(qiáng)生成任務(wù)中表現(xiàn)卓越。相比普通RAG套件，獵戶星空的RAG套件在專業(yè)度上有非常顯著的提升。

　　而被認(rèn)為將應(yīng)用開發(fā)帶入“3D 打印”時代的AI Agent，更是在企業(yè)應(yīng)用中有著極其重要的作用。

　　1月10日，OpenAI正式推出可定制化AI Agent應(yīng)用市場GPT Store，為大模型接下來卷向何方指明了道路。當(dāng)全世界都在為GPT Store上線而興奮的時候，傅盛卻表示這其實是OpenAI的一個“陽謀”。

　　由于隱私限制，ChatGPT只能從公開出版物來獲取數(shù)據(jù)，拿不到企業(yè)內(nèi)部核心數(shù)據(jù)，就無法為企業(yè)定制大模型應(yīng)用。因此，OpenAI需要一個能夠讓企業(yè)心甘情愿共享出私有數(shù)據(jù)的方式，傅盛認(rèn)為GPT Store的作用正在于此。

　　企業(yè)想要通過GPT Store賦能提升效率，就不得不共享核心私有數(shù)據(jù)。從積極意義來看，這是一個雙贏的格局;但從消極意義來看，企業(yè)正在用自己的私有數(shù)據(jù)去喂養(yǎng)GPT，未來存在不小的隱患。

　　因此傅盛提出，大模型應(yīng)該私有化，讓經(jīng)營數(shù)據(jù)內(nèi)循環(huán)生長。然而，這又帶來了另一個問題——成本。

　　通常來說，千億參數(shù)大模型被認(rèn)為是商業(yè)化應(yīng)用的最佳方案，但很少有企業(yè)能夠支付的起一年數(shù)千萬美元的費用。要把成本降下來，就要把模型做小。到底多小呢?傅盛認(rèn)為百億參數(shù)就夠了。因此，獵戶星空大模型的數(shù)據(jù)只有140億。

　　但讓人意外的是，百億參數(shù)的獵戶星空大模型，仍然能在企業(yè)級應(yīng)用中媲美千億級大模型。通過獵戶星空的插件能力微調(diào)模型(Orion-14B-Plugin)開發(fā)的Agent，在意圖識別、首輪抽參、多輪抽參、缺槽反問、插件調(diào)用這五項關(guān)鍵指標(biāo)上，已經(jīng)接近了GPT-4的水平。

　　看到這里我們不禁好奇，獵戶星空是如何做到“以小博大”，在“小小的花園里”開出“大大的花”呢?

　　關(guān)鍵在于“應(yīng)用”二字。

　　3、大模型的應(yīng)用“大”年來了

　　其實獵戶星空大模型能以百億參數(shù)達(dá)到千億參數(shù)模型的效果，和獵戶星空本身的路徑走向有著密切的關(guān)系。

　　相比大模型開發(fā)商的身份，獵戶星空更為人熟知的是智能機(jī)器人供應(yīng)商。在日韓市場，獵戶星空更是被認(rèn)為只是一家送餐機(jī)器人供應(yīng)商。這個角色，在很大程度上決定了獵戶星空的做大模型的業(yè)務(wù)邏輯。

　　通常情況，平臺都是先開發(fā)出大模型后，再開始尋找落地點。為了盡可能的覆蓋到更廣泛的應(yīng)用場景，模型就要做的足夠大，成本自然居高不下，千億級參數(shù)的大模型一年授權(quán)費就能高達(dá)數(shù)千萬。

　　但大模型本身并不是即開即用的產(chǎn)品，企業(yè)需要的事能夠結(jié)合業(yè)務(wù)流并解決自身痛點的大模型應(yīng)用。

　　在傅盛看來，脫離市場的技術(shù)投入就是浪費資源。所以獵戶星空剛好反著，先有了落地應(yīng)用，然后通過AI賦能該產(chǎn)品，在此基礎(chǔ)上再推出大模型，典型的先找痛點再針對性突破的思維模式。

　　這樣的好處是可以通過更少資源、更專業(yè)性能、更靈活配置，在具體應(yīng)用場景中獲得足以媲美更高參數(shù)、更全面性能、更大算力模型的效果。同時，在這個過程中，成本被大幅降低了。一個技術(shù)在落地場景中能夠?qū)崿F(xiàn)爆發(fā)，成本就是臨門那一腳。

　　以前只有大企業(yè)才用得起的大模型，現(xiàn)在每個企業(yè)都用得起了。以前大公司需要依賴專業(yè)人員來構(gòu)建和維護(hù)私域知識庫，如今每個公司都可以自己利用Agent來構(gòu)建定制化的私域知識庫。

　　根據(jù)傅盛的構(gòu)想，距離我們實現(xiàn)這樣的場景并不遙遠(yuǎn)。

　　傅盛將剛剛過去的2023年稱為奇跡年。這一年因為ChatGPT的出現(xiàn)，刷新了人類科技探索的高度，甚至l會對人類底層生活產(chǎn)生重大影響。2023年作為導(dǎo)火索，點燃了大模型之火，而這把火將在接下來的一年徹底燎原。

　　2024年，將會是大模型的應(yīng)用“大”年。

　　開源社區(qū)：

　　https://github.com/OrionStarAI/Orion/

　　作者|吳狄

　　出品|零態(tài)LT(ID：LingTai_LT)