大模型不是AI的唯一出路,把模型做小也是本事。
這段時間,AI模型界是真的熱鬧,新的模型不斷涌現,不管是開源還是閉源,都在刷新成績。就在前幾天,Meta就上演了一出“重奪開源鐵王座”的好戲。發(fā)布了Llama38B和70B兩個版本,在多項指標上都超越了此前開源的Grok-1和DBRX,成為了新的開源大模型王者。
并且Meta還透露,之后還將推出400B版本的Llama3,它的測試成績可是在很多方面上都追上了OpenAI閉源的GPT-4,讓很多人都直呼,開源版的GPT-4就要來了。盡管在參數量上來看,相比Llama2,Llama3并沒有特別大的提升,但是在某些表現上,Llama3最小的8B版本都比Llama270B要好。可見,模型性能的提升,并非只有堆參數這一種做法。
Llama3重回開源之王
當地時間4月18日,“真·OpenAI”——Meta跑出了目前最強的開源大模型Llama3。本次Meta共發(fā)布了兩款開源的Llama38B和Llama370B模型。根據Meta的說法,這兩個版本的Llama3是目前同體量下,性能最好的開源模型。并且在某些數據集上,Llama38B的性能比Llama270B還要強,要知道,這兩者的參數可是相差了一個數量級。
能夠做到這點,可能是因為Llama3的訓練效率要高3倍,它基于超過15T token訓練,這比Llama2數據集的7倍還多。在MMLU、ARC、DROP等基準測試中,Llama38B在九項測試中領先于同行,Llama370B也同樣擊敗了Gemini1.5Pro和Claude3Sonnet。
盡管在參數量上并沒有特別大的提升,但毫無疑問,Llama3的性能已經得到了很大的進步,可以說是用相近的參數量獲得了更好的性能,這可能是在算力資源短期內無法滿足更大規(guī)模運算的情況下所作出的選擇,但這體現了AI模型的研發(fā)并非只有堆砌參數這一條“大力出奇跡”的道路。
把大模型做小正成業(yè)內共識
實際上,在Llama3之間的兩位開源王者,Grok-1和DBRX也致力于把模型做小。和以往的大模型,使用一個模型解決一切問題的方式不同,Grok-1和DBRX都采用了MoE架構(專家模型架構),在面對不同問題的時候,調用不同的小模型來解決,實現在節(jié)省算力的情況下,保證回答的質量。
而微軟也在Llama3發(fā)布后沒幾天,就出手截胡,展示了Phi-3系列小模型的技術報告。在這份報告中,僅3.8B參數的Phi-3-mini在多項基準測試中都超過了Llama38B,并且為了方便開源社區(qū)使用,還特意把它設計成了與Llama系列兼容的結構。更夸張的是,微軟的這個模型,在手機上也能直接跑,經4bit量化后的phi-3-mini在iPhone14pro和iPhone15使用的蘋果A16芯片上能夠跑到每秒12token,這也就意味著,現在手機上能本地運行的最佳開源模型,已經做到了ChatGPT水平。
而除了mini杯外,微軟也一并發(fā)布了小杯和中杯,7B參數的Phi-3-small和14B參數的Phi-3-medium。在技術報告中,微軟也說了,去年研究團隊就發(fā)現,單純堆砌參數量并非提升模型性能的唯一路徑,反而是精心設計訓練的數據,尤其是利用大模型本身去生成合成數據,并配合嚴格過濾的高質量數據,能夠讓中小模型的能力大幅躍升,所以他們也說,Textbooks are all you need,教科書級別的高質量數據才是重要的。
AI模型發(fā)展正著力于擺脫限
自英偉達乘著AI的東風,成為行業(yè)內說一不二,當之無愧的“賣鏟子的人”,各家AI公司都將英偉達的GPU視為“硬通貨”,以致于誰囤有更多的英偉達的GPU,誰的AI實力就強。但英偉達的GPU的交付并未能始終跟上市場的需求。
因此,很多AI公司開始另謀出路,要么找其他的GPU生產商,要么決定自己研發(fā)AI芯片。即使你囤夠了英偉達的GPU,也還有其他限制,OpenAI在前段時間就被爆出,因為訓練GPT-6,差點把微軟的電網搞癱瘓。馬斯克也曾說過,當前限制AI發(fā)展的主要因素是算力資源,但在未來,電力會成為限制AI發(fā)展的另一阻礙。
顯然,如果持續(xù)“大力出奇跡”,通過堆砌參數量來實現AI性能的提升,那么以上這些問題遲早會遇到,但是如果把大模型做小,使用較小的參數量,實現同樣或者更好的性能,那么將可以顯著減少對算力資源的需求,進而減少對電力資源的消耗,從而讓AI在有限資源的情況下,得到更好的發(fā)展。
因此,接下來,誰能在將模型做小的同時,還能實現性能的增長,也是實力的體現。
文章內容僅供閱讀,不構成投資建議,請謹慎對待。投資者據此操作,風險自擔。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術、產品設計及應用方面的創(chuàng)新變革,全球領先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產品設計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術和新品亮相,以敢為精神勇闖技術無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導,由上海市人工智能行業(yè)協會聯合上海人工智能實驗室、上海臨港經濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。