家庭能源智聯(lián)自由 海辰儲(chǔ)能發(fā)布首套免安裝家庭微網(wǎng)系統(tǒng)HeroESOpenAI發(fā)布o(jì)3:AI 推理能力的重大突破,得分高達(dá)87.5%亞馬遜云科技推出Amazon Q Developer新功能小象超市,摸著美團(tuán)外賣(mài)出海E Ink元太科技連三年入選道瓊可持續(xù)雙指數(shù)撬動(dòng)6000億GTV后,抖音計(jì)劃偷襲美團(tuán)大本營(yíng)AGI Open Network(AON):賦能每個(gè)人創(chuàng)建、部署和貨幣化AI Agent貸款利率史上最低了嗎?東融教你看懂歷年啥水平“客服來(lái)電”有詐?抖音客服上線“驗(yàn)證助手”助用戶識(shí)別詐騙OpenAI新模型GPT-5研發(fā)未達(dá)預(yù)期:成本高昂 效果不佳曝天馬打入果鏈:為蘋(píng)果HomePod供應(yīng)LCD屏 每塊屏僅10美元曝OPPO或首發(fā)新款天璣次旗艦芯片 兩大子品牌Q2發(fā)力諾基亞攜手阿聯(lián)酋運(yùn)營(yíng)商e&,展示全球首個(gè)固網(wǎng)游戲端到端網(wǎng)絡(luò)切片方案零下25℃制熱26℃!海爾水暖通黑科技亮相冰雪大世界三星沒(méi)放棄曲面屏開(kāi)發(fā)!最新專(zhuān)利曝光暗示有望回歸三大運(yùn)營(yíng)商11月成績(jī)單:用戶數(shù)據(jù)增幅放緩打造下一個(gè)英偉達(dá),孫正義的2026芯片計(jì)劃曝光瞭望2025全球6G技術(shù)發(fā)展趨勢(shì)AI時(shí)代云安全新范式,暢捷通智能守護(hù)小微企業(yè)安全上云百川智能發(fā)布全鏈路領(lǐng)域增強(qiáng)金融大模型 Baichuan4-Finance
  • 首頁(yè) > 云計(jì)算頻道 > 大模型

    王小川又雙叒叕發(fā)布大模型了 號(hào)稱(chēng)領(lǐng)先LLaMA 2

    2023年09月07日 14:26:32   來(lái)源:鳳凰網(wǎng)科技

      百川智能又發(fā)布大模型了。

      9月6日,王小川旗下百川智能正式發(fā)布開(kāi)源微調(diào)后的Baichuan 2-7B、Baichuan 2-13B、Baichuan 2-13B-Chat與其4bit量化版本,均為免費(fèi)可商用,這是繼6月15日發(fā)布首款開(kāi)源大模型Baichuan7B后的又一次重大技術(shù)迭代。

      據(jù)了解,Baichuan 2-7B-Base 和 Baichuan 2-13B-Base,均基于 2.6萬(wàn)億高質(zhì)量多語(yǔ)言數(shù)據(jù)進(jìn)行訓(xùn)練。其中Baichuan 2-13B-Base相比上一代13B模型,數(shù)學(xué)能力提升49%,代碼能力提升46%,安全能力提升37%,邏輯推理能力提升25%,語(yǔ)義理解能力提升15%。

      王小川稱(chēng),70億參數(shù)的Baichuan2-7B開(kāi)源大模型中文水平超越了LLaMA2 130億參數(shù)模;在英文的評(píng)測(cè)上,Baichuan2-7B開(kāi)水平與LLaMA2 130億參數(shù)模型持平。

    (圖:7B參數(shù)模型的Benchmark成績(jī))

      (圖:7B參數(shù)模型的Benchmark成績(jī))

    (圖:13B參數(shù)模型的Benchmark成績(jī))

      (圖:13B參數(shù)模型的Benchmark成績(jī))

      他表示,“隨著國(guó)內(nèi)Baichuan2開(kāi)源大模型的發(fā)布,用LLaMA2作為大家一個(gè)開(kāi)源模型的時(shí)代已經(jīng)過(guò)去了。”

      國(guó)內(nèi)“百模大戰(zhàn)”中,各家都在卷參數(shù)規(guī)模,卷響應(yīng)速度,卷行業(yè)落地。而在國(guó)外,AI模型競(jìng)爭(zhēng)主要聚焦在“生態(tài)封閉”和“生態(tài)開(kāi)源”。其中,閉源模型的代表當(dāng)屬目前最強(qiáng)的GPT-4模型,開(kāi)源最具代表意義的則是Meta的LLaMA2模型。

      業(yè)內(nèi)普遍認(rèn)為,開(kāi)源大模型對(duì)于大量開(kāi)發(fā)者是一個(gè)福音,能夠降低做大模型應(yīng)用的門(mén)檻。美國(guó)斯坦福大學(xué)基金會(huì)模型研究中心主任Percy Liang 曾指出,像LLaMA2這樣強(qiáng)大的開(kāi)源模型會(huì)對(duì)OpenAI 構(gòu)成相當(dāng)大的威脅。

      今年6月,王小川飛往美國(guó)硅谷與同行交流大模型技術(shù)思路。他認(rèn)為,美國(guó)閉源大模型的頭部格局已定,OpenAI、Anthropic、Google已經(jīng)拿到門(mén)票,LLaMA2則統(tǒng)一了美國(guó)開(kāi)源模型市場(chǎng),而國(guó)內(nèi)大模型格局還未定型,創(chuàng)業(yè)公司還有較大的機(jī)會(huì)。

      在8月舉辦的一次媒體交流會(huì)上,王小川談及大模型技術(shù)路線之爭(zhēng)時(shí)表示,開(kāi)源與閉源并不矛盾,未來(lái)會(huì)像蘋(píng)果和安卓系統(tǒng)一樣并行發(fā)展。未來(lái)可能80%的企業(yè)會(huì)用到開(kāi)源模型,因?yàn)殚_(kāi)源模型小巧,最后靠閉源提供剩下20%的增值服務(wù)。 從2B(企業(yè))的角度,開(kāi)源、閉源都需要,百川智能不會(huì)只瞄準(zhǔn)一個(gè)方向。

      王小川指出了LLaMA開(kāi)源模型的隱藏限制因素。他表示,LLaMA 開(kāi)源模型適用于以英文為主的環(huán)境,開(kāi)發(fā)者使用中文場(chǎng)景是拿不到開(kāi)源協(xié)議,Baichuan2開(kāi)源大模型更適用于中文大模型。

      “我們現(xiàn)在可以獲得比LLaMA更友好且能力更強(qiáng)的開(kāi)源模型,能夠幫助扶持中國(guó)整個(gè)生態(tài)的發(fā)展。除開(kāi)源模型以外,下一次在閉源方面會(huì)有更多的突破,希望在中國(guó)的開(kāi)源閉源里都能給中國(guó)的經(jīng)濟(jì)社會(huì)發(fā)展帶來(lái)我們的貢獻(xiàn)。”

      當(dāng)前大部分開(kāi)源模型在開(kāi)源過(guò)程中只是對(duì)外公開(kāi)自身的模型權(quán)重,很少提及訓(xùn)練細(xì)節(jié),企業(yè)、研究機(jī)構(gòu)、開(kāi)發(fā)者們只能在開(kāi)源模型的基礎(chǔ)上做有限的微調(diào),很難進(jìn)行深入研究。

      王小川表示,百川智能公開(kāi)了Baichuan2開(kāi)源大模型訓(xùn)練過(guò)程中的全部參數(shù)模型,以及不同大小的 tokens、訓(xùn)練切片,使得學(xué)術(shù)界在進(jìn)行預(yù)訓(xùn)練微調(diào)、強(qiáng)化時(shí)更容易操作,更容易獲得學(xué)術(shù)經(jīng)驗(yàn)和成果。他透露,這也是國(guó)內(nèi)首次開(kāi)放訓(xùn)練過(guò)程。

      百川智能創(chuàng)立于今年4月10日,旨在打造構(gòu)建中國(guó)最好的大模型底座,并在教育、醫(yī)療等領(lǐng)域應(yīng)用落地。截至目前,百川智能已公布首輪5000萬(wàn)美元融資。

      成立不到半年時(shí)間,百川智能平均每28天發(fā)布一款大模型,已相繼發(fā)布了Baichuan-7B、Baichuan-13B兩款開(kāi)源免費(fèi)可商用的中文大模型,以及一款搜索增強(qiáng)大模型Baichuan-53B。

      8月31日,百川智能通過(guò)《生成式人工智能服務(wù)管理暫行辦法》備案,旗下大模型可以正式面向公眾提供服務(wù)。

      【來(lái)源:鳳凰網(wǎng)科技】

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    明火炊具市場(chǎng):三季度健康屬性貫穿全類(lèi)目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。

    研究

    中國(guó)信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專(zhuān)題論壇在沈陽(yáng)成功舉辦。