來京東參與榮耀Magic7 RSR 保時(shí)捷設(shè)計(jì)預(yù)售 享365天只換不修國(guó)補(bǔ)期間電視迎來換機(jī)潮,最暢銷MiniLED品牌花落誰家?美團(tuán)旗下微信社群團(tuán)購業(yè)務(wù)“團(tuán)買買”宣布年底停運(yùn)消息稱微軟正與第三方廠商洽談,試圖合作推出Xbox游戲掌機(jī)設(shè)備在海外,要再造一個(gè)京東物流?消息稱蘋果正為AirPods開發(fā)多項(xiàng)健康功能,包括心率監(jiān)測(cè)和溫度感應(yīng)一加 Ace 5系列將搭載全新游戲助手:大幅提升游戲體驗(yàn)東芝全部業(yè)務(wù)實(shí)現(xiàn)盈利,退市裁員重組后終于賺錢真我14 Pro+開始提上日程:1.5K等深四微曲屏+潛望長(zhǎng)焦穩(wěn)了消息稱本田和日產(chǎn)計(jì)劃明年6月前敲定合并協(xié)議 2026年8月成立控股公司凱迪拉克最新版OTA開啟推送,新增百度語音大模型和QQ音樂等應(yīng)用中國(guó)聯(lián)通11月5G套餐用戶凈增127.8萬戶5G確定性工業(yè)基站首商用,工業(yè)互聯(lián)網(wǎng)走上新高度李飛飛團(tuán)隊(duì)前瞻性研究 多模態(tài)AI模型初顯空間智能AI終于邁過這道檻!Livekit 開源模型精準(zhǔn)識(shí)別“你是否說完”!DeepSeek開源大模型開發(fā)者之一羅福莉?qū)⒓用诵∶?/a>廣汽詳解旗下首款復(fù)合翼飛行汽車 GOVY AirJet:最高飛行速度可達(dá) 250km/h清華大學(xué)聯(lián)合騰訊出品!ColorFlow:自動(dòng)給黑白漫畫上色,保持角色一致性Adobe推新AI音頻具Sketch2Sound ,只需哼唱和模仿聲音就能創(chuàng)建音效家庭能源智聯(lián)自由 海辰儲(chǔ)能發(fā)布首套免安裝家庭微網(wǎng)系統(tǒng)HeroES
  • 首頁 > 云計(jì)算頻道 > 大模型

    Llama2開源后,國(guó)產(chǎn)大模型在卷什么?

    2023年08月20日 19:59:35   來源:微信公眾號(hào)機(jī)器之心

      本文來自于微信公眾號(hào) 機(jī)器之心(ID:almosthuman2014),作者:姜菁玲。

      「GPT 還是 Llama2?」過去幾周時(shí)間里,許多大模型應(yīng)用層的開發(fā)者不得不開始集中思考這個(gè)問題。

      7月19日,開源社區(qū)最強(qiáng)的大模型從 Llama 升級(jí)到 Llama2。后者在2萬億的 token 上進(jìn)行訓(xùn)練,訓(xùn)練數(shù)據(jù)增加了40%,在包括推理、編碼、精通性和知識(shí)測(cè)試等許多外部基準(zhǔn)測(cè)試中,皆優(yōu)于其他開源語言模型。

      「以前的開源大模型都沒有形成像 Llama 這樣的社區(qū),而 Llama 系列模型正是在這種非;钴S的社區(qū)文化下發(fā)展起來了,這也直接造成 Llama 系列模型在很多任務(wù)上都取得了快速進(jìn)展,甚至達(dá)到了商用標(biāo)準(zhǔn)」,東北大學(xué)教授肖桐向機(jī)器之心解釋。

      GPT-3.5水平通常被認(rèn)為是大模型商用的標(biāo)準(zhǔn)線,在 Llama2模型70億、130億和700億三種參數(shù)變體中,700億的版本在 MMLU 和 GSM8K 上接近了 GPT-3.5的水平。這意味著,作為開源大模型的代表,Llama2第一次進(jìn)入了大范圍的商業(yè)考量決策之中,開發(fā)者們擁有了一個(gè)免費(fèi)、開源且足夠商用的大模型底座。

      今年5月份,谷歌一位工程師在內(nèi)部撰文直言稱,當(dāng)免費(fèi)的、不受限制的替代品(開源模型)與閉源模型質(zhì)量相當(dāng)時(shí),人們不會(huì)為受限制的模型付費(fèi)。

      兩個(gè)月以后,這一預(yù)測(cè)變成現(xiàn)實(shí)。用 Llama2進(jìn)行模型訓(xùn)練的開發(fā)者數(shù)量正在快速增加。根據(jù)Meta披露的信息,Llama2在發(fā)布的一周內(nèi)就接收到了超過15萬次的下載請(qǐng)求,并且仍在持續(xù)增加,Meta 對(duì)此表示「不敢置信」。

      開源與閉源大模型的比賽從此刻開始正式打響。面對(duì)開源大模型更低的成本、更快的迭代速度、更高的定制化上限,閉源大模型的壁壘會(huì)由什么構(gòu)建,成為一個(gè)問題。

      Llama2還是 GPT-4

      選擇 Llama2的原因有很多,成本是最直接的一個(gè)。

      當(dāng)前,GPT-4接口的調(diào)用費(fèi)用為每1000個(gè)提示請(qǐng)求 token 花費(fèi)0.03美元,完成響應(yīng) token 花費(fèi)0.06美元。斯坦福大學(xué)研究員在一份論文中估算,如果是中小企業(yè)利用 GPT-4來協(xié)助市場(chǎng)工作的話,每個(gè)月的成本可能超過2.1萬美元。而一個(gè)利用 GPT-4輔助廣告文案生成的公司則表示,它們平均每個(gè)月要為 GPT-4接口支付超過25萬美元的成本。

      一家國(guó)內(nèi) AIGC 應(yīng)用商對(duì)機(jī)器之心透露,Llama2雖然目前在技術(shù)水平上距離 GPT-4有一定差距,但是相比于 GPT-4的高昂成本,團(tuán)隊(duì)仍然選擇了使用 Llama2作為底層模型,通過在產(chǎn)業(yè)中積累的行業(yè)數(shù)據(jù)以及專注在垂直場(chǎng)景進(jìn)行輸出,能夠彌補(bǔ)一部分技術(shù)代差。

      「Llama2出現(xiàn)之后,受打擊最大的應(yīng)該就是 OpenAI,更多的公司會(huì)開始直接基于 Llama2進(jìn)行商業(yè)化開發(fā),而不再購買它們的 API。」獵豹移動(dòng)董事長(zhǎng)兼CEO傅盛稱。

      在免費(fèi)的沖擊下,原先使用 OpenAI 接口的應(yīng)用層公司會(huì)重新思考應(yīng)該選擇哪個(gè)路線,有一部分的市場(chǎng)或許將會(huì)被 Llama2重新洗牌。

      不過,這個(gè)決策并不完全是成本之上的較量。對(duì)于「較好的數(shù)據(jù)和優(yōu)化是否能夠彌補(bǔ)如今 Llama2與 GPT-4差距」這個(gè)問題,消極的聲音占據(jù)較多數(shù)。

      東北大學(xué)教授肖桐舉例稱,以機(jī)器翻譯場(chǎng)景為例,我們可以用一個(gè)類似于 Llama2這樣的開源模型去做指令微調(diào),雖然翻譯性能達(dá)到不錯(cuò)的程度,但是最終會(huì)發(fā)現(xiàn)性能上限仍然受限,因?yàn)殚_源大模型的某些能力是在預(yù)訓(xùn)練階段獲得的,所以即使你的指令、任務(wù)都是明確的,加上很多數(shù)據(jù),但你會(huì)發(fā)現(xiàn)仍然不容易做到 GPT-4的效果。

      另外,相比于往常的披露,此次 Llama2開源并沒有對(duì)外披露數(shù)據(jù)層的具體信息,因此復(fù)現(xiàn) Llama2成為一件受限制的事情!副热缫蛔鶚欠,你只能在這個(gè)基礎(chǔ)之上去裝修卻做外設(shè),但是你沒有辦法去改變它的鋼混結(jié)構(gòu),你沒有訓(xùn)練它底座的權(quán)限和能力,所以它的性能很難突破,逼近 GPT-4這個(gè)事情是不可能的」,昆侖萬維 CEO 方漢認(rèn)為。

      一些應(yīng)用開發(fā)者則認(rèn)為,按照此時(shí) Llama2與 GPT-4的水平差距,如果全力押注 Llama2,付出的代價(jià)可能同樣很大!缚赡苣阋ê芏鄷r(shí)間在優(yōu)化 Prompt 上,而不是產(chǎn)品創(chuàng)新。」

      因此,在技術(shù)的絕對(duì)領(lǐng)先下,GPT-4仍然會(huì)持續(xù)吸引到對(duì)效果有相對(duì)極致的、在成本方面有較大空間的客戶。

      當(dāng)然,比起存量市場(chǎng)的轉(zhuǎn)移,Llama2的更大貢獻(xiàn)應(yīng)該是對(duì)整個(gè) AIGC 行業(yè)增量市場(chǎng)的拉動(dòng)。一位 AIGC 業(yè)內(nèi)人士向機(jī)器之心表示,Llama2的開源點(diǎn)燃了很多應(yīng)用開發(fā)者的熱情,在開源后的幾周時(shí)間,許多開發(fā)者將它看成是移動(dòng)互聯(lián)網(wǎng)黃金時(shí)期的階段,希望能找到應(yīng)用的切口。

      正如肖桐所言,Llama2能夠支持企業(yè)和團(tuán)隊(duì)在大模型應(yīng)用層面低成本、快速地啟動(dòng),作出產(chǎn)品和商業(yè)模式的原形。

      而隨著圍繞 Llama 的應(yīng)用嘗試越來越多,「圍繞 Llama2的生態(tài)的可能會(huì)被建立起來,這種遷移是比較難的,因此生態(tài)會(huì)成為一個(gè)飛輪」,傅盛提到,之后或許將迎來一個(gè)模型平民化的階段,使用大模型做應(yīng)用的門檻將不斷降低。昆侖萬維 CEO 方漢則具體指出,在國(guó)內(nèi),Llama2對(duì)市場(chǎng)的影響將集中在小 B 市場(chǎng),文生圖、智能寫小說這類場(chǎng)景會(huì)迎來更多競(jìng)爭(zhēng)對(duì)手。

      在過去的幾周時(shí)間里,Llama2已被接入 Amazon Sagemaker、Databricks、Watsonx.ai、Microsoft Azure、阿里云和百度千帆等各種平臺(tái),圍繞 Llama2的生態(tài)已經(jīng)開始發(fā)展。

      大模型創(chuàng)業(yè)公司的危機(jī)

      對(duì)大部分底層大模型創(chuàng)業(yè)公司來說,一條比較明確的商業(yè)化路徑是效仿 OpenAI,通過自研大約 GPT-3.5水平的模型,然后向客戶提供 MaaS 服務(wù),出售底層模型的能力。

      在 Llama2推出之前,開源社區(qū)最強(qiáng)的大模型 Llama 在商用許可上具有限制,而 OpenAI 的接口在國(guó)內(nèi)面臨著不確定的監(jiān)管風(fēng)險(xiǎn),因此相比于兩者,國(guó)產(chǎn)大模型在市場(chǎng)競(jìng)爭(zhēng)中的優(yōu)勢(shì)通常是「可商用」、「數(shù)據(jù)安全」以及更好的「服務(wù)支持」。

      Llama2的釋出削弱了國(guó)產(chǎn)大模型創(chuàng)業(yè)公司在市場(chǎng)上的競(jìng)爭(zhēng)力!笍脑S多公開的測(cè)試集上,我們可以看到,國(guó)內(nèi)大部分的大模型公司的水平距離 GPT-3.5仍然有距離」,一位 AI 方向資深投資人稱。也就是說,對(duì)于國(guó)內(nèi)的大部分大模型創(chuàng)業(yè)公司來說,Llama2意味著一個(gè)價(jià)格碾壓(免費(fèi))、技術(shù)更強(qiáng)以及可以支持商用的競(jìng)爭(zhēng)對(duì)手。

      對(duì)那些自研大模型積累不夠的公司來說,Llama2產(chǎn)生的打擊則更甚。傅盛認(rèn)為,「Llama2將開源的水平提升到了接近 GPT-3.5的水平。如果說此時(shí)你的自研水平遠(yuǎn)遠(yuǎn)不如 Llama2,那么意味著可能你之前的工作都白做了!

      對(duì)這部分公司來說,當(dāng)前面臨兩種選擇,一是拋棄自研路線,利用自己此前積累的數(shù)據(jù)和經(jīng)驗(yàn)開始用 Llama2進(jìn)行開源模型訓(xùn)練,二是繼續(xù)堅(jiān)持自研路線,但是需要衡量所付出的時(shí)間和金錢成本,以及最終自身能否追趕并超越上快速迭代的開源生態(tài)。無論哪種,都是一個(gè)艱難的選擇。

      Llama2為開源社區(qū)貢獻(xiàn)的新的技術(shù)里程碑,不僅拉高了閉源公司整體的自研門檻,或許還將動(dòng)搖很大一部分公司「繼續(xù)自研」的決心。

      「對(duì)于很多公司來說,當(dāng)你自研的大模型沒有辦法去超過 Llama2后,你會(huì)越來越?jīng)]有動(dòng)力去自研模型,會(huì)更傾向于站在巨人的肩膀上,這更多是一種心理層面的影響」,面壁智能 CTO 曾國(guó)洋說道。

      而如果認(rèn)為自己短期內(nèi)憑借自研能力無法超過 Llama2的這部分公司,「很有可能就會(huì)去考慮成為端到端的應(yīng)用公司,利用自己的既有模型結(jié)合開源模型,直接向市場(chǎng)提供應(yīng)用,最后實(shí)現(xiàn)數(shù)據(jù)上的閉環(huán),從而不斷迭代」,上述投資人表示。

      不過,對(duì)于頭部大模型公司來說,「自研」路線上的搖擺現(xiàn)象概率要低得多。昆侖萬維從2020年開始籌備大模型,已經(jīng)對(duì)外推出了成熟可商用的大模型產(chǎn)品。昆侖萬維 CEO 方漢告訴機(jī)器之心,目前對(duì)于昆侖萬維而言,在技術(shù)上更值得期待的是,如何從 GPT-3.5提升到 GPT-4。「國(guó)內(nèi)已經(jīng)在牌桌上的大模型公司對(duì)如何做到 GPT-3.5大多已經(jīng)沒有什么疑問,但下一步如何做到 GPT-4仍然需要花大力氣探索,因此 Llama2在技術(shù)上對(duì)大廠沒有什么參考意義」。

      同樣已經(jīng)推出成熟大模型產(chǎn)品的公司面壁智能CTO曾國(guó)洋持類似觀點(diǎn)。他認(rèn)為,在技術(shù)上 Llama2最多在一些具體任務(wù)上可以起到一些 Benchmark 的作用,但是 Llama2最值得參考的數(shù)據(jù)處理層面沒有開源,因此整體在技術(shù)上參考意義有限。

      從市場(chǎng)競(jìng)爭(zhēng)的角度來看,在國(guó)內(nèi)市場(chǎng),相比于 Llama2,國(guó)內(nèi)頭部大模型公司擁有更優(yōu)越的中文表現(xiàn)、更穩(wěn)定的監(jiān)管預(yù)期、更便利的服務(wù)支持以及更近的市場(chǎng)渠道。因此,面對(duì)于 Llama2的免費(fèi)優(yōu)勢(shì),能夠做到在性能上更好、模型更加易用的頭部大模型公司,理論上就能夠繼續(xù)維持整體優(yōu)勢(shì)。

      并且,對(duì)于頭部大模型公司來說,在自研路線上投入的沉沒成本遠(yuǎn)遠(yuǎn)超過中尾部大模型公司,不同自研的路線往往也代表了公司的行業(yè)、場(chǎng)景上的側(cè)重點(diǎn),頭部公司有足夠的資金、人才以及驅(qū)動(dòng)力繼續(xù)自研。

      Llama2對(duì)國(guó)內(nèi)大模型公司的影響將是一個(gè)持續(xù)的過程。如今全球范圍內(nèi) AIGC 行業(yè)仍在起步上升階段,并沒有穩(wěn)定的市場(chǎng)格局。由于底層技術(shù)水平仍在早期,中國(guó)市場(chǎng)則更加分散,尚未發(fā)展起來。全球來看 GPT 的市場(chǎng)份額應(yīng)當(dāng)是最大的,而國(guó)內(nèi)目前 Llama2能夠受影響的市場(chǎng)僅僅只是擔(dān)心 GPT 受監(jiān)管影響、且國(guó)產(chǎn)大模型都不適用的這部分客戶,是一個(gè)「暫存市場(chǎng)」。

      不過,雖然「暫存市場(chǎng)」整體并不大,但在暫存市場(chǎng)中證明自己的模型商業(yè)化能力已經(jīng)成為許多大模型公司的「融資通行證」。上述投資人告訴機(jī)器之心,在比較標(biāo)的的過程中,雖然 Llama2在技術(shù)上起到的參考價(jià)值不大(有GPT-3.5),但是公司如何應(yīng)對(duì) Llama2帶來的商業(yè)化危機(jī)會(huì)成為資方較為在意的點(diǎn)。如果說,在這場(chǎng)市場(chǎng)競(jìng)爭(zhēng)中失敗,融不到資,可能就會(huì)影響到大模型創(chuàng)業(yè)公司的存續(xù)問題,在目前的階段,這可能是一個(gè)更致命的問題。

      沒有長(zhǎng)期護(hù)城河

      無論是 Llama2瓜分閉源公司的既有市場(chǎng)份額,還是推動(dòng)整個(gè)行業(yè)進(jìn)一步繁榮,「開源 AI 正在取得勝利」這個(gè)判斷似乎擁有了更多實(shí)證。

      這個(gè)觀點(diǎn)來自于今年5月谷歌一位工程師在內(nèi)網(wǎng)發(fā)布的文件。在谷歌與 OpenAI 仍在焦灼 AI 軍備競(jìng)賽之際,這位工程師在文件中直言:開源派與谷歌和 OpenAI 模型之間的差距正在以驚人的速度縮小,它們將很快對(duì)谷歌和 OpenAI 進(jìn)行超越,我們沒有護(hù)城河。

      「一家公司不斷在前面推天花板,后面的人不停追趕,雖然它可能會(huì)有自己累積的技術(shù)優(yōu)勢(shì),但是別人在追趕它的時(shí)候,能看見它已經(jīng)成功做了什么,那么(追趕)就會(huì)更容易」,西湖大學(xué)張?jiān)澜淌趯?duì)機(jī)器之心解釋。

      面壁智能 CTO 曾國(guó)洋則進(jìn)一步表示,從目前公開資料所披露的 GPT-4的具體技術(shù)情況,我們發(fā)現(xiàn)它并沒有使用一些特別神奇、超越時(shí)代的科技,本質(zhì)上也是用大家都能理解的技術(shù)來做拼接組合,最終實(shí)現(xiàn)了效果更好。

      如果說,領(lǐng)先的閉源模型是確定可追隨的,那么意味著,「長(zhǎng)遠(yuǎn)來看,閉源大模型并沒有真正的護(hù)城河」,曾國(guó)洋與張?jiān)勒J(rèn)為。

      在這個(gè)前提下,追隨者之中,開源AI無疑是最有競(jìng)爭(zhēng)力的一支力量。在開源社區(qū)的支持下,開源模型的迭代速度比想象地更快。以 Llama2本身所欠缺的中文語料為例,僅在 Meta 開源 Llama2次日,開源社區(qū)首個(gè)能下載、能運(yùn)行的開源中文 Llama2模型「Chinese Llama27B」就出現(xiàn)了。

      在商業(yè)環(huán)境中,一家基于開源模型研發(fā)的的垂直 AIGC 產(chǎn)品公司近日告訴機(jī)器之心,經(jīng)過它們的內(nèi)部驗(yàn)證,任何閉源模型的更新,它們有信心能夠結(jié)合自身的數(shù)據(jù)和工程化經(jīng)驗(yàn),三個(gè)月內(nèi)在自己垂直的場(chǎng)景中實(shí)現(xiàn)差不多的水平。

      當(dāng)然,短期來看領(lǐng)先的閉源模型相較于開源模型,護(hù)城河仍然十分清晰。東北大學(xué)教授肖桐認(rèn)為,相較于開源模型,走閉源路線的大廠在人才、組織以及數(shù)據(jù)三個(gè)方面有短時(shí)間難以取代的優(yōu)勢(shì)。大廠往往擁有更高密度更高水平的人才,以及有經(jīng)驗(yàn)的團(tuán)隊(duì)能夠協(xié)調(diào)人才和高性能設(shè)備,并且能夠擁有其他人無法拿到數(shù)據(jù)。此外,曾國(guó)洋還提到,大廠往往也擁有充足算力!傅L(zhǎng)期來說的話,數(shù)據(jù)和算力各種要素都會(huì)慢慢追平」。

      在這個(gè)過程中,開源模型真正的影響力在于對(duì)生態(tài)系統(tǒng)的構(gòu)建!窵lama2可能會(huì)推動(dòng)大模型上下游進(jìn)行整合,一旦解決了規(guī)模的問題,成本也將大大下降」,肖桐表示。

      雖然目前 Llama2僅僅可能是大模型開源生態(tài)系統(tǒng)的開端,「大家對(duì) Llama2的能力邊界不是非常清晰,生態(tài)系統(tǒng)的形成同樣需要一些時(shí)間」。但隨著 Llama2的釋出,開源社區(qū)的技術(shù)能力被帶上另一個(gè)臺(tái)階,大模型開源社區(qū)的力量已經(jīng)無法被忽視。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    明火炊具市場(chǎng):三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。

    研究

    中國(guó)信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽成功舉辦。