大模型開(kāi)閉源之爭(zhēng)，怕是要有結(jié)果了？

 　　上周，Meta發(fā)布了其最新開(kāi)源模型Llama3，提供8B和70B的預(yù)訓(xùn)練和指令微調(diào)版本，號(hào)稱是最強(qiáng)大的開(kāi)源大語(yǔ)言模型。據(jù)了解，基于最新的 Llama 3 模型，Meta 的AI 助手現(xiàn)在已經(jīng)覆蓋 Instagram、WhatsApp、Facebook等全系應(yīng)用。而近日，Meta趁熱打鐵，又宣布向第三方制造商開(kāi)放自家的Meta HorizonOS，允許其他公司基于其生態(tài)系統(tǒng)設(shè)計(jì)更多頭戴顯示器。聯(lián)想、微軟和華碩都是Meta的首批合作伙伴。

　　看來(lái)，這是將開(kāi)源進(jìn)行到底，從大模型開(kāi)源，到頭顯設(shè)備操作系統(tǒng)的開(kāi)放。這也類似谷歌對(duì)安卓系統(tǒng)的開(kāi)放模式。

　　不過(guò)，安卓系統(tǒng)整體并非一個(gè)完全開(kāi)源的軟件，比如Gmail、谷歌地圖、Google Play、Chrome等一系列谷歌自家應(yīng)用就是閉源的。畢竟，由于GPL v2許可證的關(guān)系，谷歌無(wú)法將安卓作為一個(gè)軟件整體進(jìn)行授權(quán)收費(fèi)。谷歌其實(shí)只是理論上開(kāi)放安卓，然后通過(guò)其他方式賺錢。

　　但大模型的開(kāi)源，未來(lái)的盈利路線其實(shí)是很明確的——首先吸引更多的開(kāi)發(fā)者參與到開(kāi)源模型的改進(jìn)和優(yōu)化中來(lái)，而這些優(yōu)化建議同樣可以在閉源大模型中復(fù)用，大模型生態(tài)建設(shè)建設(shè)好之后，Meta就可以靠提供相關(guān)的技術(shù)支持、API授權(quán)等收費(fèi)。

　　更多企業(yè)同樣看準(zhǔn)了開(kāi)源的好處，4月23日晚，微軟在官網(wǎng)開(kāi)源了小參數(shù)的大語(yǔ)言模型——Phi-3-mini。據(jù)了解，Phi-3-mini參數(shù)只有38億，訓(xùn)練數(shù)據(jù)卻高達(dá)3.3T tokens，比很多數(shù)百億參數(shù)的模型訓(xùn)練數(shù)據(jù)都要多，這也是其性能*的主要原因之一。微軟表示，在未來(lái)幾周內(nèi)還會(huì)發(fā)布70億參數(shù)的Phi-3-small和140億參數(shù)的Phi-3-medium兩款小模型。其中，Phi-3-medium的性能可媲美Mixtral 8x7B 和GPT-3.5，資源消耗卻更少。

　　閉源陣營(yíng)對(duì)手強(qiáng)大，開(kāi)源陣營(yíng)同樣正不斷有強(qiáng)手涌入。

　　那么，以O(shè)penAI為代表的閉源陣營(yíng)和Llama為代表的開(kāi)源陣營(yíng)，到底誰(shuí)會(huì)成為以后的主導(dǎo)?

　　1、開(kāi)源Llama 3實(shí)力如何

　　對(duì)于用戶來(lái)說(shuō)，不管閉源開(kāi)源，“抓到耗子才是好源”。

　　從訓(xùn)練的角度，Llama3對(duì)中文并不友好。在15T Tokens的訓(xùn)練數(shù)據(jù)，僅有5%是為非英文數(shù)據(jù)，涵蓋30多種語(yǔ)言，其中中文就更少了。據(jù)Hugging Face第三方大模型跑分測(cè)評(píng)數(shù)據(jù)，Llama3 70B性能已經(jīng)超過(guò)部分早期版本GPT4。

　　據(jù)國(guó)內(nèi)CLUE中文語(yǔ)言理解測(cè)評(píng)基準(zhǔn)最新測(cè)評(píng)，Llama3-70B在代碼能力上略低于GPT-4;在中文數(shù)學(xué)能力上基礎(chǔ)難度(1-3步推理)與GPT4-Turbo、Claude3—Opus相差不多，在4-5步數(shù)學(xué)推理任務(wù)上還有一定優(yōu)化空間。測(cè)評(píng)說(shuō)得比較客氣，其實(shí)就是說(shuō)，英文上表現(xiàn)不錯(cuò)，中文上差距還比較明顯。

　　而Meta首席人工智能科學(xué)家楊立昆則在推特上分享，Llama-3在Arena排行榜中已經(jīng)位居第五。

　　英偉達(dá)高級(jí)科學(xué)家Jim Fan也表示，“Llama3-400B+ 將標(biāo)志著社區(qū)獲得 GPT-4 級(jí)模型的開(kāi)放權(quán)重訪問(wèn)權(quán)的分水嶺時(shí)刻。它將改變?cè)S多研究工作和草根初創(chuàng)公司的計(jì)算方式。我在 Claude 3 Opus、GPT-4-2024-04-09 和 Gemini 上拉了數(shù)據(jù)，Llama-3-400B仍在訓(xùn)練中，希望在接下來(lái)的幾個(gè)月里會(huì)變得更好。有如此多的研究潛力可以通過(guò)如此強(qiáng)大的能力釋放，期待整個(gè)生態(tài)系統(tǒng)的建設(shè)者能量激增!”

　　不管是同行抬轎子，還是自己王婆賣瓜，至少看起來(lái)，Llama3實(shí)力非凡。而大模型性能只要能超過(guò)早期GPT4水平，就意味著已經(jīng)具備較強(qiáng)智能，可以作為生產(chǎn)力工具，去替代人類完成各類業(yè)務(wù)流的碎片、繁雜工作。

　　GroqCloud還提供云支持，可以讓用戶在沒(méi)有本地強(qiáng)大GPU的情況下使用Llama-3的8B和70B兩個(gè)版本大模型�；�于LLama3的中文微調(diào)，國(guó)內(nèi)也已經(jīng)有不少開(kāi)發(fā)人員正在測(cè)試中，比如用Ollama來(lái)本地部署LLama3進(jìn)行訓(xùn)練。

　　8B 和 70B 兩個(gè)型號(hào)的模型，僅僅標(biāo)志著 Llama 3 系列的開(kāi)端，Meta AI首席科學(xué)家楊立昆在其社交媒體透露，在接下來(lái)的幾個(gè)月，還會(huì)有更多版本陸續(xù)發(fā)布。楊立昆還轉(zhuǎn)帖分享了關(guān)于Meta支持開(kāi)源的真實(shí)故事。

　　不過(guò)，百度CEO李彥宏近日在Create2024百度AI開(kāi)發(fā)者大會(huì)上表示，大模型開(kāi)源意義不大，閉源模型性能會(huì)不斷提升。“有了文心大模型4.0，我們可以根據(jù)需要兼顧效果、響應(yīng)速度、推理成本等各種考慮，裁剪出適合各種場(chǎng)景的更小尺寸模型，且支持精調(diào)和post pretrain。通過(guò)降維裁剪出的模型，比直接拿開(kāi)源調(diào)出來(lái)的模型，同等尺寸下效果更好，同等效果下成本明顯更低。”

　　李彥宏認(rèn)為閉源才擁有真正的商業(yè)模式，能夠賺到錢，能聚集人才和算力。“閉源在成本上反而是有優(yōu)勢(shì)的，只要是同等能力，閉源模型的推理成本一定是更低的，響應(yīng)速度一定是更快的。”同時(shí)，開(kāi)源大模型的模式與傳統(tǒng)的開(kāi)源軟件不同，并不是眾人拾柴火焰高。因此，“未來(lái)開(kāi)源模型會(huì)越來(lái)越落后”，其實(shí)在大模型場(chǎng)景下，開(kāi)源是最貴的。

　　而前 DeepMind 和 Meta 員工創(chuàng)立的初創(chuàng)公司 Mistral AI 盡管也是開(kāi)源的大力支持者。但該團(tuán)隊(duì)也計(jì)劃在2024年籌集更多資金，以打造除開(kāi)源產(chǎn)品之外的消費(fèi)產(chǎn)品。畢竟，光開(kāi)源不掙錢是無(wú)法長(zhǎng)久的，特別是對(duì)創(chuàng)業(yè)團(tuán)隊(duì)。

　　但周鴻祎、王小川等業(yè)內(nèi)大咖對(duì)于開(kāi)源大模型落后論并不認(rèn)同，先后在不同場(chǎng)次對(duì)此提出質(zhì)疑。據(jù)報(bào)道，王小川在微信群討論中表示，“關(guān)于開(kāi)閉源之爭(zhēng)，核心是要看誰(shuí)在開(kāi)源?雙輪驅(qū)動(dòng)，是一線創(chuàng)業(yè)AGI公司的*解。”

　　第二十七屆哈佛中國(guó)論壇上，周鴻祎就表示，他一直相信開(kāi)源的力量，“一句話，今天沒(méi)有開(kāi)源就沒(méi)有Linux，沒(méi)有Linux就沒(méi)有互聯(lián)網(wǎng)，就連說(shuō)這話的公司自己都借助了開(kāi)源的力量才成長(zhǎng)到今天。”

　　大佬們議論紛紛，其實(shí)誰(shuí)都沒(méi)有給出明確的答案。

　　2、開(kāi)源與閉源，非得做選擇題嗎

　　李彥宏說(shuō)得也沒(méi)錯(cuò)，Llama系列并不是一個(gè)真正由大家一起來(lái)協(xié)同開(kāi)發(fā)的產(chǎn)品。

　　據(jù)了解，大模型開(kāi)源的方式主要有兩種模式， Restrict License(限制許可)與 Apache。Llama的開(kāi)源屬于前者，在開(kāi)放源代碼的同時(shí)，對(duì)使用、修改和分發(fā)該模型的行為施加一定的限制。這與完全開(kāi)放的開(kāi)源許可證(如MIT、Apache 2.0等)不同，后者通常允許用戶在幾乎不設(shè)限的情況下使用和修改軟件，Mistral、谷歌的開(kāi)源模型Gemma都采取了這種方式。但哪怕后者，對(duì)于訓(xùn)練的數(shù)據(jù)和訓(xùn)練過(guò)程同樣并不開(kāi)源。

　　如果開(kāi)源大模型最終的商業(yè)化還是要閉源，那就得看看閉源大模型們?cè)谧鍪裁础?/p>

　　就拿最近大火的閉源大模型月之暗面為例吧。據(jù)界面新聞?dòng)浾邚亩鄠�(gè)渠道獲悉，上一輪融資完成后，月之暗面(Moonshot AI)創(chuàng)始人楊植麟通過(guò)售出個(gè)人持股已套現(xiàn)數(shù)千萬(wàn)美金。由于楊植麟持股比例高達(dá)78.968%，出售部分股權(quán)似乎無(wú)可厚非?但也有投資人表示，“公司成立*年就套現(xiàn)這么多，這種情況并不多見(jiàn)。”

　　不過(guò)，月之暗面已經(jīng)回應(yīng)媒體：上述消息不實(shí)，月之暗面此前已公布員工激勵(lì)計(jì)劃。

　　套現(xiàn)謠傳暫不討論。但月之暗面的長(zhǎng)文本能力，也面臨被追趕的問(wèn)題，畢竟長(zhǎng)文本優(yōu)勢(shì)難以長(zhǎng)期獨(dú)占。不過(guò)，這是月之暗面作為初創(chuàng)公司要面臨的問(wèn)題，并不是閉源大模型行業(yè)的問(wèn)題。

　　無(wú)論開(kāi)源還是閉源，國(guó)內(nèi)大模型玩家，往往呈現(xiàn)業(yè)界每出現(xiàn)一次突破性的進(jìn)展，其他玩家就會(huì)快速跟進(jìn)的窘境——這就意味著，創(chuàng)新容易被模仿，最后拼的只能是血槽厚不厚。對(duì)于B端客戶而言，如果對(duì)接小廠出現(xiàn)不確定性，轉(zhuǎn)向服務(wù)更為成熟的大廠就順理成章。當(dāng)然，月之暗面至少不打算做B端，想必也是知道B端客戶的多變。

　　反倒是C端客戶，不在乎用的大模型是不是巨頭做出來(lái)的，只要好用、有一些功能切中自己需求就行。

　　楊植麟一直是閉源大模型的擁躉。他曾在騰訊新聞、36氪的專訪中表示，開(kāi)源落后于閉源是個(gè)事實(shí)。因?yàn)楝F(xiàn)在開(kāi)源本身還是中心化的，開(kāi)源的貢獻(xiàn)可能很多都沒(méi)有經(jīng)過(guò)算力驗(yàn)證。閉源會(huì)有人才聚集和資本聚集，最后一定是閉源更好;反而是落后者才會(huì)開(kāi)源，“攪局嘛，反正不開(kāi)源也沒(méi)價(jià)值”。

　　他認(rèn)為，開(kāi)源和閉源在整個(gè)生態(tài)里面會(huì)扮演不同的角色，開(kāi)源很大的作用是在To B端的獲客，如果想做頭部的Super App，大家肯定都是用閉源模型去做的，在開(kāi)源模型上做C端應(yīng)用很難做出差異化。

　　不過(guò)，不同于月之暗面、百度押注閉源，更多大模型企業(yè)選擇開(kāi)源和閉源并行，例如Google、阿里巴巴、昆侖萬(wàn)維、零一萬(wàn)物、百川智能等。比如百川智能開(kāi)源Baichuan2-7B、Baichuan2-13B、Baichuan2-13B-Chat 與其4bit 量化版本;但還有一些說(shuō)明卻沒(méi)有“用大字”標(biāo)注清楚——那就是這些開(kāi)源的模型不算大，而且與百川智能的閉源模型相比性能差別較大。

　　開(kāi)源大模型們似乎都財(cái)大氣粗，不計(jì)較營(yíng)收。至少生態(tài)上，基于開(kāi)源模型也帶來(lái)更多百花齊放的產(chǎn)品，比如Llama中文社區(qū)最近完成了對(duì)Llama3兩個(gè)模型的中文能力優(yōu)化，并推出了中文微調(diào)版供用戶試用;還有更多基于Llama3的輕創(chuàng)業(yè)項(xiàng)目在啟動(dòng)。因?yàn)椋�大家�?jié)省了大量訓(xùn)練的成本，只需要投入少量的微調(diào)成本即可快速上線一個(gè)垂直領(lǐng)域AI應(yīng)用。

　　而閉源大模型們則都為了拿到大模型落地訂單、爭(zhēng)奪客戶而卷生卷死。

　　從性價(jià)比角度，目前在開(kāi)源模型上進(jìn)行相應(yīng)的訓(xùn)練和微調(diào)比GPT3.5還是具備一定的價(jià)格優(yōu)勢(shì)。據(jù)了解，Llama2-70b的微調(diào)價(jià)格是4美元/100萬(wàn)token，而GPT3.5則要8美元/100萬(wàn)token。但價(jià)格是會(huì)變化的，未來(lái)閉源模型一樣可以提供足夠高的性價(jià)比。

　　那么，大模型領(lǐng)域的創(chuàng)業(yè)者們?nèi)绾握业絇MF(Product Market Fit)?

　　其實(shí)，開(kāi)源和閉源都不是重點(diǎn)。創(chuàng)業(yè)者沒(méi)必要二選一，完全可以全都要，從而找到最適合自己的底層模型并訓(xùn)練出有商業(yè)化潛力的垂直模型。甚至國(guó)內(nèi)的一些閉源大模型，也是基于開(kāi)源Llama的套殼，再疊加專業(yè)垂直領(lǐng)域數(shù)據(jù)集的訓(xùn)練，從而應(yīng)用于細(xì)分領(lǐng)域。

　　喬布斯曾說(shuō)：“我愿意把我所有的科技去換取和蘇格拉底相處的一個(gè)下午。”

　　但對(duì)于堅(jiān)持閉源或者開(kāi)源大模型的大佬來(lái)說(shuō)，自己立場(chǎng)對(duì)面的那些“討厭嘴臉”們，應(yīng)該是不值得自己用所有科技換取一個(gè)下午的。