開源大模型正在“殺死”閉源？

　　本文來(lái)自于微信公眾號(hào) 光錐智能(ID:guangzhui-tech)，作者:郝 鑫。

　　“OpenAI不足為懼，開源會(huì)慢慢趕上來(lái)。”

　　彼時(shí)Hugging Face創(chuàng)始人Clem Delangue的一句預(yù)言，正在迅速成為現(xiàn)實(shí)。

　　ChatGPT橫空出世7個(gè)多月后，7月19日，Llama2宣布開源，并且可直接商用。

　　如今回看，這一天也成為了大模型發(fā)展的分水嶺。在此之前，全世界開源的大模型不計(jì)其數(shù)，可只是停留在開發(fā)研究層面。“可商業(yè)”短短三個(gè)字，猶如一顆重磅炸彈引爆了大模型創(chuàng)業(yè)圈，引得傅盛連連感嘆，“有的人哭暈在廁所，而有的人在夢(mèng)中也能笑醒”。

　　AI大模型圈一夜之間變了天，同時(shí)也宣告著大模型加速商業(yè)化時(shí)代的到來(lái)。

　　自Llama2后，開源逐漸成為主流趨勢(shì)。以Llama架構(gòu)為首，先掀起了一波以其為核心的開源，如Llama2低成本訓(xùn)練版、Llama2最強(qiáng)版、微調(diào)版等等。截至發(fā)稿前，以“LLama2”為關(guān)鍵詞在國(guó)外最大的AI開源社區(qū)Hugging Face檢索模型，有5341條結(jié)果;在全世界最大的開源項(xiàng)目托管平臺(tái)Github上，也有1500個(gè)詞條。

　　之后，創(chuàng)業(yè)者們的目光從解構(gòu)、增強(qiáng)Llama2轉(zhuǎn)向了構(gòu)建行業(yè)專有大模型，于是又掀起了一波Llama2+司法、Llama2+醫(yī)療等一系列的行業(yè)開源大模型。據(jù)不完全統(tǒng)計(jì)，Llama2開源后，國(guó)內(nèi)就涌現(xiàn)出了十幾個(gè)開源行業(yè)大模型。

　　國(guó)內(nèi)頭部廠商和創(chuàng)業(yè)公司紛紛加入開源浪潮中，阿里QWEN-7B開源一個(gè)多月下載量破100萬(wàn)，9月25日升級(jí)了QWEN-14B;百川智能開源的Baichuan-7B、13B兩款開源大模型下載量目前已經(jīng)突破500萬(wàn)，200多家企業(yè)申請(qǐng)部署開源大模型。

　　與此形成強(qiáng)烈對(duì)比的是，短時(shí)間內(nèi)，Llama2對(duì)一些閉源的大模型廠商造成了致命性的打擊。閉源大模型多采用調(diào)取API的方式使用，數(shù)據(jù)需要先上傳至模型廠商，按照調(diào)用次數(shù)收取費(fèi)用;而開源則可以在本地部署，且完全免費(fèi)，可商用后產(chǎn)生的利潤(rùn)也可以收歸己有。

　　行業(yè)內(nèi)人士告訴光錐智能:“在這種情況下，基于成本的考慮，已經(jīng)開始有許多企業(yè)選擇放棄支付上千萬(wàn)元的費(fèi)用，轉(zhuǎn)而部署和微調(diào)Llama2”。

　　以上種種，共同揭開了大模型開源閉源之爭(zhēng)，發(fā)展重心的轉(zhuǎn)移也讓人疑惑:開源大模型是否正在“殺死”閉源?

　　大模型開源，開的是什么?

　　光錐智能梳理后發(fā)現(xiàn)，目前，大模型廠商和創(chuàng)業(yè)公司在開源和閉源的選擇上，一共有三條路徑:

　　一是完全閉源，這類代表公司國(guó)外有OpenAI的GPT-3.5、GPT-4，國(guó)內(nèi)有百度的文心大模型;

　　二是先閉源再開源，這類代表公司有阿里云的通義千問(wèn)，智譜AI開源GLM系列模型;

　　三是先開源再閉源，這類代表公司有百川智能的Baichuan-7B、Baichuan-13B。

　　現(xiàn)在中國(guó)市場(chǎng)上能夠主動(dòng)開源大模型，且提供商業(yè)許可的企業(yè)數(shù)量還比較有限，主要公司包括了以開源為切入的百川智能、大模型廠商代表阿里、大模型初創(chuàng)公司代表智譜AI以及走精調(diào)Llama2路線的虎博科技。

　　這從側(cè)面也說(shuō)明了一個(gè)問(wèn)題，大模型開源并不是沒(méi)有門檻，相反開源對(duì)一家企業(yè)的基礎(chǔ)技術(shù)能力要求十分高，比如智譜AI的GLM-130大模型是去年亞洲唯一入選斯坦福大學(xué)評(píng)測(cè)榜的大模型;阿里通義千問(wèn)大模型在IDC的“AI大模型技術(shù)能力評(píng)估測(cè)試”中獲得了6項(xiàng)滿分。

　　如果再進(jìn)一步將以上的公司分類，可以歸為兩類，一類是走自研大模型開源路線，一類是走Llama2路線。

　　這兩條路線在國(guó)際上也十分典型，譬如走自研模型開源路線的Stability AI，已經(jīng)陸續(xù)開源了Stable DiffusionV1、StableLM、Stable Diffusion XL(SDXL)1.0等模型，憑一己之力撐起了文生圖開源領(lǐng)域;另一類如中東土豪研究院就死盯住Llama2，在其基礎(chǔ)上繼續(xù)做大參數(shù)、做強(qiáng)性能， Llama2開源50天后，地表最強(qiáng)開源模型Falcon180B橫空出世， 霸榜Hugging Face。

　　不過(guò)，這兩條路線也不是完全涇渭分明，Llama2的開源也進(jìn)一步促進(jìn)了許多自研開源大模型的更新升級(jí)。8月Stability AI迅速推出類ChatGPT產(chǎn)品——Stable Chat，背后的大語(yǔ)言模型Stable Beluga就是其在兩代Llama的基礎(chǔ)上精調(diào)出來(lái)。更開放，更快迭代發(fā)展，這或許也是開源的意義。

　　除了逆天的Falcon，目前開源模型的參數(shù)基本都控制在7B-13B左右。大模型廠商告訴光錐智能，“目前7B-13B億參數(shù)量是一個(gè)較為合理的開源規(guī)模”。這是基于多重因素所得出的參數(shù)量規(guī)模，如計(jì)算資源限制、內(nèi)存限制、開源成本考量等。

　　阿里云CTO周靖人基于云廠商的角度考慮道:“我們希望企業(yè)和開發(fā)者，在不同的場(chǎng)景可以根據(jù)自己的需求選擇不一樣規(guī)模的模型，來(lái)真正地應(yīng)用在自己的開發(fā)環(huán)境。我們提供更多可能性。”

　　談起為何開源大模型，周靖人強(qiáng)調(diào)了安全性，“我們不單單只是開源大模型，更重要的是要能夠呈現(xiàn)出各項(xiàng)指標(biāo)的表現(xiàn)效果，基于此，才能夠讓大家去評(píng)估其中的使用風(fēng)險(xiǎn)，更加有效地進(jìn)行模型應(yīng)用。”

　　“重要的是，隨著參數(shù)量的增加，模型效果提升會(huì)逐漸收斂。當(dāng)模型達(dá)到一定規(guī)模后，繼續(xù)增加參數(shù)對(duì)效果提升的邊際效益只會(huì)下降，70-130億參數(shù)量一般已經(jīng)接近收斂狀態(tài)了。”上述大模型廠商道。

　　光錐智能發(fā)現(xiàn)，除了阿里云在視覺(jué)語(yǔ)言模型的細(xì)分領(lǐng)域發(fā)布了開源大模型外，其余公司皆提供的是通用能力的大模型。這或許與大模型開源仍處于非常早期階段有關(guān)系，但考慮到開源大模型也要落地到場(chǎng)景中，太過(guò)于同質(zhì)化的通用大模型對(duì)企業(yè)來(lái)說(shuō)也容易淪為“雞肋”。

　　如何避免開源大模型重蹈覆轍，體現(xiàn)出開源的價(jià)值，回顧Meta接連祭出的“大招”，一條開源的路徑似乎逐漸顯現(xiàn)——構(gòu)建開源大模型生態(tài)。

　　2月份，Meta憑借開源的Llama大模型回到生成式AI核心陣列;

　　5月9日，開源了新的AI 模型ImageBind，連接文本、圖像 / 視頻、音頻、3D 測(cè)量(深度)、溫度數(shù)據(jù)(熱)和運(yùn)動(dòng)數(shù)據(jù)六種模態(tài);

　　5個(gè)月后，Llama2開源可商業(yè)，含70億、130億和700億三種參數(shù)規(guī)模，其中700億參數(shù)模型能力已接近GPT-3.5;

　　8月25日，Meta推出一款幫助開發(fā)人員自動(dòng)生成代碼的開源模型——Code Llama，該代碼生成模型基于其開源大語(yǔ)言模型Llama2;

　　8月25日，發(fā)布全新AI模型SeamlessM4T，與一般AI翻譯只能從文本到文本不同，這款翻譯器還能夠“從語(yǔ)音到文本”或者反過(guò)來(lái)“從文本到語(yǔ)音”地直接完成翻譯;

　　9月1日，允許開源視覺(jué)模型DINOv2商業(yè)化，同時(shí)推出視覺(jué)評(píng)估模型FACET。

　　可以看到，Meta開源的思路是在各個(gè)AI領(lǐng)域遍地開花，通過(guò)發(fā)布該領(lǐng)域最先進(jìn)的AI開源模型，吸引更多開發(fā)者的關(guān)注和使用，壯大整個(gè)AI開源生態(tài)后來(lái)反哺業(yè)務(wù)、鞏固行業(yè)地位，這就如同當(dāng)年的英偉達(dá)推動(dòng)GPU計(jì)算的開源策略。

　　當(dāng)年英偉達(dá)推動(dòng)GPU計(jì)算的開源化，不僅吸引了大量研究人員在Caffe、TensorFlow等框架上進(jìn)行創(chuàng)新，也為自身GPU產(chǎn)品積累了大量?jī)?yōu)化經(jīng)驗(yàn)，這些經(jīng)驗(yàn)后來(lái)也幫助英偉達(dá)設(shè)計(jì)出了更適合深度學(xué)習(xí)的新型GPU架構(gòu)。

　　另一方面，GPU計(jì)算的開源生態(tài)越來(lái)越繁榮后，也為其帶來(lái)了巨大的市場(chǎng)空間，Nvidia DGX企業(yè)級(jí)的深度學(xué)習(xí)訓(xùn)練平臺(tái)概念應(yīng)運(yùn)而生，為英偉達(dá)的顯卡和平臺(tái)銷售創(chuàng)造了千億級(jí)市場(chǎng)。

　　國(guó)內(nèi)阿里云也在通過(guò)建設(shè)完善生態(tài)的方式，試圖幫助開發(fā)者更好的用好大模型，據(jù)周靖人介紹，目前阿里云不僅有自研開源大模型，也接入了超過(guò)100個(gè)開源模型，同時(shí)打造了開源社區(qū)魔搭，更好地服務(wù)開發(fā)者和企業(yè)用戶，用好、調(diào)好大模型。

　　開源閉源不矛盾

　　是手段而非目的

　　據(jù)外媒爆料，Meta正在加緊研發(fā)全新的開源大模型，支持免費(fèi)商用，能力對(duì)標(biāo)GPT-4，參數(shù)量比Llama2還要大上數(shù)倍，計(jì)劃在2024年初開始訓(xùn)練。

　　國(guó)外大模型格局看似是OpenAI“一超多強(qiáng)”，實(shí)則是眾多公司環(huán)伺，可以預(yù)見，開源大模型對(duì)閉源的圍剿，越來(lái)越步步緊逼。

　　國(guó)外一份研究報(bào)告稱，大模型前期的發(fā)展創(chuàng)新由OpenAI、微軟、谷歌等大公司閉源模型主導(dǎo)，但越到后期開源模型和社區(qū)的貢獻(xiàn)值就越大。

　　光錐智能也了解到，在國(guó)內(nèi)開源大模型也成為了企業(yè)的“新賣點(diǎn)”，有企業(yè)甚至通過(guò)對(duì)外宣稱已使用了“史上最強(qiáng)大模型Falcon180B”，來(lái)展現(xiàn)其底層模型技術(shù)能力的強(qiáng)大，頂著“史上最強(qiáng)”的稱號(hào)，又收割了“一波韭菜”。

　　現(xiàn)階段，開源大模型已經(jīng)證明了幾點(diǎn)重要的事實(shí)。

　　首先，在非常大的數(shù)據(jù)集上進(jìn)行訓(xùn)練，擁有幾十億個(gè)參數(shù)的大模型在性能上就可以與超大規(guī)模大模型相媲美;其次，只需要極少的預(yù)算、適量的數(shù)據(jù)以及低階適應(yīng)(Low-rank adaptation，LoRA)等技術(shù)就可以把小參數(shù)的大模型調(diào)到一個(gè)滿意的效果，且將訓(xùn)練成本降低了上千倍。開源大模型為現(xiàn)在的企業(yè)提供了閉源的替代方案，低成本成為最吸引他們的地方;最后，我們也看到開源大模型的發(fā)展速度也遠(yuǎn)快于封閉生態(tài)系統(tǒng)。

　　開源固然“迷人”，但更為關(guān)鍵的是，既不能為了開源而開源，也不能為了閉源而閉源。開源與閉源只是形式上的區(qū)別，并不矛盾，開源本身不是目的，而是手段。

　　以開源切入大模型賽道的百川智能，在發(fā)布完Baichuan-7B、Baichuan-13B開源大模型后，王小川拿出了Baichuan-53B閉源大模型。在問(wèn)到為什么沒(méi)有繼續(xù)開源時(shí)，王小川回答稱:“模型變大之后沒(méi)有走開源的這樣一種方式，因?yàn)榇蠹也渴鹌饋?lái)成本也會(huì)非常的高，就使用閉源模式讓大家在網(wǎng)上調(diào)用API”。

　　由此可見，是否開源或閉源并非完全沒(méi)有參考，能夠閉源一定是其能夠提供價(jià)值。在當(dāng)前，這個(gè)價(jià)值的集中體現(xiàn)可能是替用戶完成高性能的大模型訓(xùn)練、推理和部署，通過(guò)調(diào)用API的方式來(lái)幫助降低門檻，這也是OpenAI閉源的思路，但因?yàn)槠渥陨砑夹g(shù)的絕對(duì)領(lǐng)先優(yōu)勢(shì)，使得其價(jià)值也非常得大。

　　如果回顧紅帽子公司的開源，也能探尋到同樣的邏輯。過(guò)去十多年間，紅帽從銷售企業(yè)Linux操作系統(tǒng)，擴(kuò)展到現(xiàn)在的存儲(chǔ)、中間件、虛擬化、云計(jì)算領(lǐng)域，靠的就是“篩選價(jià)值”的邏輯。在最上游的開源社區(qū)，參與開源技術(shù)貢獻(xiàn)，做大做強(qiáng)生態(tài);提取開源社區(qū)中的上游技術(shù)產(chǎn)品，沉淀到自己小開源社區(qū);再將其認(rèn)為最有價(jià)值的技術(shù)檢驗(yàn)、測(cè)試、打包，形成新的產(chǎn)品組合，完成閉源出售給客戶。

　　騰訊云數(shù)據(jù)庫(kù)負(fù)責(zé)人王義成也曾對(duì)光錐智能表示:“開源的本質(zhì)也是商業(yè)化，要從宏觀層面看是否能滿足一家公司的長(zhǎng)期商業(yè)利益。開源的本質(zhì)還是擴(kuò)大生態(tài)，擴(kuò)大你的影響力。開源還是要找清楚自己的定位，目標(biāo)客戶群。開源能否幫助產(chǎn)品突破，幫助公司完成阻擊，還需要具體問(wèn)題具體分析。”

　　結(jié)尾

　　事實(shí)上，開源還是閉源，二者并不是完全對(duì)立的關(guān)系，只是在技術(shù)發(fā)展的早期，路徑選擇的不同。

　　這也并不是科技領(lǐng)域第一次面對(duì)這樣的分叉路，參考數(shù)據(jù)庫(kù)發(fā)展的路徑，早期需要培育土壤，培植生態(tài)，以MySQL為主的開源數(shù)據(jù)庫(kù)獲得了爆發(fā)式的用戶增長(zhǎng)，但走過(guò)第一階段后，更多企業(yè)用戶發(fā)現(xiàn)開源數(shù)據(jù)庫(kù)在面對(duì)業(yè)務(wù)時(shí)的短板，畢竟術(shù)業(yè)有專攻，誰(shuí)也沒(méi)辦法一招打天下。

　　為此，數(shù)據(jù)庫(kù)廠商開始根據(jù)不同的企業(yè)需求針對(duì)性的研發(fā)閉源數(shù)據(jù)庫(kù)，如在分布式數(shù)據(jù)庫(kù)、流數(shù)據(jù)庫(kù)等細(xì)分類別進(jìn)行長(zhǎng)足的創(chuàng)新。

　　周靖人也認(rèn)為:“未來(lái)，一定不是one size fits all”，不同的場(chǎng)景適配不同的參數(shù)，不同的形式，屆時(shí)大模型將走過(guò)野蠻生長(zhǎng)階段，來(lái)到精耕細(xì)作。

　　這也足以說(shuō)明，開源還是閉源，或許只是階段和位置的不同，但可以肯定的是，大模型時(shí)代，已經(jīng)加速進(jìn)入下一賽段。