近日,有媒體報道稱,百度正加緊訓練文心大模型4.0,這將是文心大模型3.5版本后又一個重磅版本。據(jù)報道,文心大模型4.0進展比預期快很多,將是基礎模型的大升級,理解、生成、邏輯、記憶核心能力都將提升,特別是在邏輯推理、代碼和數(shù)學等方面提升最明顯。
10月10日,記者從百度內(nèi)部人士基本確認了該消息,據(jù)悉,即將推出的文心大模型4.0的參數(shù)量、訓練數(shù)據(jù)量以及推理成本等都比3.5高出一個數(shù)量級。
今年3月16日,百度官宣新一代大語言模型“文心一言”啟動邀測,8月31日正式面向公眾開放服務。如今,文心大模型即將再度升級發(fā)布4.0版,如此迅速的大模型升級速度,在國內(nèi)尚屬唯一。只不過,快速升級的背后,文心大模型4.0快速攀升的參數(shù)量、數(shù)據(jù)量所帶來的訓練和推理成本提升,也正在成為大模型商業(yè)化過程中需要考慮的重點。
據(jù)此前消息報道,相比文心大模型3.5,文心4.0不僅訓練成本在增加,推理成本也增加了很多,大概是此前的8-10倍。一直以來,百度并未對外披露大模型訓練、推理的各項成本,不過據(jù)國盛證券此前估算,GPT-3訓練一次的成本約為140萬美元,對于一些更大的LLM模型(如擁有2800億參數(shù)的Gopher和擁有5400億參數(shù)的PaLM),訓練成本介于200萬美元至1200萬美元之間。作為國內(nèi)大語言模型代表,文心一言想要在性能上追趕甚至超越ChatGPT等國外同行,所需耗費的資金成本,恐怕也將與之相當。
過高的訓練和推理成本壓力下,在打造領先的底層基礎大模型的路上,注定只能是一場巨頭間的游戲。不過對于百度而言,由于具備萬卡集群、飛槳、文心大模型以及豐富的百度應用生態(tài)優(yōu)勢,獨具芯片、框架、模型及應用四層架構優(yōu)勢,更具技術競爭力。
在進一步降低大模型算力成本和時間成本上,百度萬卡集群的整體優(yōu)勢已得到充分體現(xiàn)——在萬卡集群訓練大模型時,常規(guī)方法下工程師們有30%-40%時間都花在容錯和故障恢復上,而在百度智能云自研的集群組網(wǎng)故障管理機制下,模型有效訓練時間達到95%以上,人力及算力資源均得到了利用。
真金白銀投入的背后,目前國外大模型廠商已開始嘗試收費模式,無論是在面向企業(yè)客戶的B端垂類大模型開發(fā),還是面向消費群體的To C付費產(chǎn)品,均有不少案例。例如,在面向C端消費者付費領域,目前GPT-4已推出“每月支付20美元訂閱費”的收費模式。
可以預見,不遠的將來,以百度為代表的大模型企業(yè)們,或將陸續(xù)推出收費模式。在To C大模型AI應用層面,類似愛奇藝或百度網(wǎng)盤VIP會員的收費模式,也將不斷浮現(xiàn),逐漸培養(yǎng)用戶付費習慣。
文章內(nèi)容僅供閱讀,不構成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標識解析專題論壇在沈陽成功舉辦。