4個月搓出3款大模型，王小川偷了大廠的“家”

　　‍‍‍‍‍‍作者|小滿

　　今年4月，沉寂一年多的王小川宣布進入AI大模型領(lǐng)域再次創(chuàng)業(yè)，與COO茹立云聯(lián)合成立大語言模型公司百川智能。在媒體溝通會上，王小川發(fā)布了未來20年借助語言AI要完成的目標，包括構(gòu)建中國最好的大模型底座，在搜索、多模態(tài)、教育和醫(yī)療等方面增強，幫助大眾輕松、普惠地獲取世界知識和專業(yè)服務(wù)。

　　令人意想不到的是，僅僅過了4個月，百川智能就接連推出Baichuan-7B、Baichuan-13B系列、Baichuan-53B三款大模型。其中8月8日發(fā)布的Baichuan-53B參數(shù)量級達到530億，如期完成了王小川“在今年三季度發(fā)布一款參數(shù)量級在500億以上的大規(guī)模產(chǎn)品”的KPI。

　　從離開大眾視野到重回創(chuàng)業(yè)舞臺，以及選擇大模型這一時下最熱門的風(fēng)口賽道，王小川的復(fù)出很難不吸引人們的關(guān)注。而眼下隨著百川智能以驚人的效率不斷進行產(chǎn)品迭代與更新，人們在大廠云集的大模型賽場上，也開始多了一些與眾不同的期待。

　　“遲到”的百川智能

　　作為曾經(jīng)的天才少年以及大眾印象中典型的“理工男”，王小川做事向來審慎， 而在選擇大模型創(chuàng)業(yè)這件事情上，他卻罕見地表現(xiàn)出狂熱的情緒。

　　今年2月，美團聯(lián)合創(chuàng)始人王慧文在朋友圈發(fā)布了自己的“人工智能宣言”，宣布個人出資5000萬美元設(shè)立北京光年之外科技有限公司，將打造中國Open AI。而據(jù)極客公園媒體報道，王小川在看到王慧文的高調(diào)宣言后，也曾準備對外宣布入局大模型領(lǐng)域。

　　王小川的激動不無道理�？萍紕�(chuàng)業(yè)賽道通常存在時間窗口，特別是對于大模型這類新興技術(shù)而言，越早公開項目越容易爭奪到有限的技術(shù)人才和資金資源。而且大模型對數(shù)據(jù)和訓(xùn)練量有著極大的需求，搶先發(fā)布產(chǎn)品能夠吸引合作機構(gòu)和用戶參與內(nèi)測，為大模型提供充足的數(shù)據(jù)并不斷訓(xùn)練模型，推動算法迭代和產(chǎn)品更新。

　　所以當(dāng)王慧文拿出5000萬美元，并宣布已有頂級VC以2.3億美元認購下輪融資的“英雄帖”時，無疑加劇了大模型創(chuàng)業(yè)團隊的人才爭奪。頗為有趣的是，在王慧文宣布大模型創(chuàng)業(yè)一個月后，被稱為“搜狗輸入法之父”的馬占凱隨即在社交平臺上宣布加入光年之外。而百川智能在籌備階段，也吸引了搜狗原有班底以及其他大廠領(lǐng)軍人物的加入。

　　盡管情緒上有些激動，4月份官宣的百川智能還是比光年之外晚了將近2個月，相比光年之外的2.3億美金融資，百川智能5000萬美元的啟動資金也顯得有些單薄。但“遲到”并不意味著落后，相反這2個月讓王小川想清楚了很多事情。

　　從Open AI的發(fā)展歷程中可以看到，雖然前后融資超過了100億美金，但Open AI真正開始“燒錢”也是在GPT-3正式發(fā)布開始大規(guī)模訓(xùn)練之后。據(jù)國盛證券估算，GPT-3的單次訓(xùn)練成本高達140萬美元，一些更大的LLM(大型語言模型)的訓(xùn)練成本則介于200萬美元至1200萬美元之間。因此，對于剛剛起步的百川智能來說，5000萬美元足以完成項目初期從0到1的產(chǎn)品設(shè)計。

　　其實在資金之外，大模型項目更關(guān)鍵的還是人才積累問題。Open AI的736名員工中，就有123名來自于谷歌、Meta以及蘋果公司的核心人才，半數(shù)以上員工曾在硬件或軟件公司工作。技術(shù)人才的積累，是Open AI在研發(fā)方面保持著一流水平的主要原因。而百川智能在最近4個月里，已經(jīng)將團隊規(guī)模翻倍。

　　4月份接受采訪時，王小川透露到月底團隊成員將達到50人。而截至目前，百川智能的員工規(guī)模已經(jīng)達到113人左右。其中，技術(shù)人員的比例占70%-80%。作為一家成立不到半年的創(chuàng)業(yè)公司，百川智能的官宣或許有些“遲到”，但從結(jié)果來看，一切都在按照王小川的計劃進行。

　　王小川的自信從何而來?

　　雖然起步晚，但百川智能4個月發(fā)布3款大模型的驚人效率，表現(xiàn)出了后發(fā)制人的競爭意識，并且每一款產(chǎn)品的體驗方面也呈現(xiàn)出了差異化的優(yōu)勢。

　　早前Baichuan-7B和Baichuan-13B的跑分成績就曾令圈內(nèi)人士眼前一亮。在清華大學(xué)、上海交大、愛丁堡大學(xué)聯(lián)合創(chuàng)建的評測標準C-Eval 中，Baichuan-7B經(jīng)過52 個學(xué)科的測評，最終獲評34.4 分，在同量級產(chǎn)品中排名第一。

　　Baichuan-13B則在自然科學(xué)、醫(yī)學(xué)、藝術(shù)、數(shù)學(xué)等領(lǐng)域大幅領(lǐng)先LLaMA-13B等同量級的大語言模型，在社會科學(xué)、人文科學(xué)等領(lǐng)域超過了ChatGPT。而在MMLU基準上，Baichuan-13B超過了所有同量級開源模型。

　　對于最新發(fā)布的Baichuan-53B，王小川給出的評價是文科能力更好，也就是說Baichuan-53B能夠很好地理解語言泛化背后的含義，具備理解古詩、生成風(fēng)格化文章的能力。對此，驚蟄研究所使用Baichuan-53B內(nèi)測版進行了測試。

　　在連續(xù)面對“請寫一首以夏天為主題的五言絕句”的要求時，Baichuan-53B給出的4 首詩文存在明顯的重復(fù)。其中，4首絕句的最后一句都是“荷花盛開滿池塘”，3首的前兩句都是“夏日炎炎列日照，綠樹成蔭鳥兒叫。”并且每首詩相同的段落描寫的都是相同的意象，似乎是按照同一個模板排列組合而成。類似的現(xiàn)象，驚蟄研究所在使用百度的文心一言進行對比測試時，并沒有發(fā)生。

　　對于生成風(fēng)格化文章的能力，驚蟄研究所要求Baichuan-53B分別以徐志摩、卡夫卡和柯南·道爾的風(fēng)格“寫一條朋友圈，講述我今天吃了肯德基這件事”。從結(jié)果來看，雖然內(nèi)容結(jié)構(gòu)上也非常相似，但Baichuan-53B很好地抓住了三位作家的寫作風(fēng)格。

　　最令人驚喜的是，在“扮演”柯南·道爾寫作的文案中，Baichuan-53B還提到作者的代表《福爾摩斯探案集》以及其中的貝克街，讓人感覺到AI不是在單純地模仿作家風(fēng)格生成內(nèi)容，而是在生成作家自己的“朋友圈”。

　　由此看來，Baichuan-53B在內(nèi)容生成方面不僅僅具備一定的理解能力，能夠模仿不同的文學(xué)風(fēng)格，在表述上也更像是人，而不是基于大數(shù)據(jù)和算法對現(xiàn)有數(shù)據(jù)進行排列組合。這也難怪王小川會自信地表示，“我們這個模型在文科領(lǐng)域走前列。”

　　“百模大戰(zhàn)”剛剛開場

　　ChatGPT問世以來，大模型風(fēng)口吸引了越來越多的玩家，從科技大廠到創(chuàng)業(yè)公司都開始將大模型作為自身的最大亮點，竭力追逐行業(yè)熱點。基于這一行業(yè)背景，王小川在官宣以創(chuàng)業(yè)的形式入局大模型時遭到了質(zhì)疑，不少網(wǎng)友都表示當(dāng)前大模型賽道大廠林立，獨立團隊很難有機會。坦白說，截至目前，整個行業(yè)都還停留在“外行看熱鬧”的階段，這也反映了國產(chǎn)大模型團隊仍然游離在B端和C端市場之間的現(xiàn)狀。

　　一個典型的現(xiàn)象是，OpenAI借助ChatGPT成為全球頂尖AI公司后，國內(nèi)一眾科技公司紛紛宣布推出類似ChatGPT的“聊天機器人”“圖片生成器”，并且學(xué)習(xí)Meta等科技大廠將大模型開源免費商用。但從實際效果來看，這種“百模大戰(zhàn)”更像是為了搶關(guān)注、掙流量。

　　大模型開放免費商用之后，給誰用、怎么用，誰又真的會用?這一連串的問題沒有人問，真正使用了免費大模型的企業(yè)也不會主動宣揚。“聊天機器人”的出現(xiàn)，很大程度上只是為了證明科技公司具備一定的技術(shù)能力，而現(xiàn)階段大模型的商業(yè)化手段，仍然以B端市場為主。

　　例如百度的文心大模型涵蓋基礎(chǔ)大模型、任務(wù)大模型、行業(yè)大模型的三級體系，廣泛應(yīng)用于電力、燃氣、金融等產(chǎn)業(yè)領(lǐng)域;騰訊的混元大模型，則主要是幫助騰訊生態(tài)實現(xiàn)降本增效 ，在廣告領(lǐng)域可以自動生成廣告文案和視頻;阿里的通義大模型，能夠跟人類進行多輪的交互，擁有文案創(chuàng)作能力，能夠續(xù)寫小說、編寫郵件等;華為盤古大模型則基于其訓(xùn)練出的2000 億參數(shù)以中文為核心的預(yù)訓(xùn)練生成語言模型，發(fā)布了盤古氣象大模型、盤古礦山大模型、盤古OCR等多個行業(yè)大模型。

　　透過上述大模型的功能可以看到，科技大廠的大模型體現(xiàn)的是其背后在算法、算力、深度學(xué)習(xí)方面的技術(shù)實力，而這些技術(shù)能力服務(wù)的首要對象，自然是B端客戶。此前，華為昇騰計算業(yè)務(wù)總裁張迪煊就曾表示，華為已經(jīng)幫助孵化了 20 多個基礎(chǔ)大模型，“中國大模型中約一半由昇騰 AI 支撐”。而B端市場用戶可以在通用大模型的基礎(chǔ)上，定向開發(fā)出符合自己需求的專用大模型輔助企業(yè)經(jīng)營，也可以針對C端市場開發(fā)大模型應(yīng)用產(chǎn)品。

　　在王小川選擇大模型創(chuàng)業(yè)被質(zhì)疑機會渺茫這件事情上，大廠在行業(yè)賽道搶先卡位，并不代表其已經(jīng)掌握行業(yè)競爭的決勝權(quán)。過去因為對B端市場以及自身業(yè)務(wù)的過度關(guān)注，使得大廠在技術(shù)創(chuàng)新方面缺乏一些主動性。比如2016年開始就將AI作為戰(zhàn)略重心的百度，本就擁有開發(fā)ChatGPT類語言模型的底層技術(shù)，甚至還具備絕無僅有的中文搜索場景，但直到ChatGPT爆火之后，百度才在今年3月份推出文心一言。

　　如同王小川對5000萬美元啟動資金的判斷一樣，大模型的決勝盤在于訓(xùn)練階段。在給大模型投喂數(shù)據(jù)這一關(guān)鍵性的成長環(huán)節(jié)，高素質(zhì)訓(xùn)練人才提供的高質(zhì)量數(shù)據(jù)集是大模型快速成熟、迭代的關(guān)鍵。比如ChatGPT早期就利用菲律賓的大學(xué)教授進行數(shù)據(jù)標注，而國內(nèi)進行數(shù)據(jù)標注的人才數(shù)量和水平均未能滿足行業(yè)所需。

　　因此，國產(chǎn)大模型市場雖然已有“百模大戰(zhàn)”的態(tài)勢，但在最關(guān)鍵的訓(xùn)練環(huán)節(jié)上，大多數(shù)仍在同一起跑線上。王小川之所以有信心參與這一輪行業(yè)變革，想必也是看透了大模型不是大力出奇跡的發(fā)明創(chuàng)造，而是在底層技術(shù)之外，持續(xù)投入不斷迭代的產(chǎn)品革新。

　　關(guān)于國內(nèi)科技公司搶灘大模型的行業(yè)現(xiàn)象，知名投資人朱嘯虎和獵豹創(chuàng)始人傅盛曾在朋友圈激烈交鋒。朱嘯虎認為行業(yè)泡沫明顯，甚至斷言絕大多數(shù)都會在年底死掉。而王小川在4月份成立百川智能時表示，“年底前我們會發(fā)布對標GPT-3.5的大模型，有信心今年年底做到國內(nèi)最好。”

　　王小川的百川智能會是國產(chǎn)大模型的希望嗎?不如把懸念留到年底，到時再看國產(chǎn)大模型又是怎樣一番新局面。