全球3.5億下載量破紀錄！ Llama家族暴漲10倍，開源帝國掀AI革命

　　誕生一年半，Llama家族早已穩(wěn)坐開源界頭把交椅。最新報告稱，Llama全球下載量近3.5億，是去年同期的10倍。而模型開源讓每個人最深體會是，token價格一降再降。

　　Llama一舉成為世界開源的領頭羊。

　　截至目前，Llama模型在開源平臺HuggingFace下載量近3.5億。

　　Groq的創(chuàng)始人表示，這也太瘋狂了，想想Linux花了多長時間才達到這個數(shù)字?

　　官博介紹，這一數(shù)字，是去年同期的10倍。而且，僅在上個月，模型的下載量超2000萬次。

　　2023年2月，Llama1首次亮相，經(jīng)過多次迭代，到現(xiàn)在已經(jīng)過去了整整18個月。

　　而在這僅有的一年半里，Llama已經(jīng)從一個最先進的單體基礎模型，發(fā)展成為，一個面向開發(fā)者的強大生態(tài)系統(tǒng)。

　　LeCun還不忘給自家模型宣傳一波，越來越多的大公司、小公司、初創(chuàng)公司、政府和非營利組織，正基于此開發(fā)新的產品和服務。

　　還有高校機構、研究人員和工程師每天都在改進Llama，并提出新的用例。

　　另外，值得關注的一點是，自今年5月Llama3.1發(fā)布之后，云服務商對模型API token調用需求，翻了一番還要多。

　　一些Meta最大的云服務提供商，從2024年1月到7月，Llama的每月token量增長了10倍。

　　從微軟云、英偉達、谷歌云等科技巨頭，到Groq、Databricks等初創(chuàng)公司，全都支持Llama模型的使用。

　　老黃稱，「Llama深深地影響著最先進AI的進步」。

　　可見，Llama正引領著開源之光。

　　Llama開源，拉低token價格戰(zhàn)

　　GPT-4級別模型開源，最先帶來的好處是，token的價格不斷下降。

　　AI大牛吳恩達在DeepLearning的博客中，算了一筆賬:

　　近期，OpenAI官宣降價后，GPT-4o的token成本，現(xiàn)在是每百萬token4美元。(假設是80%輸入和20%輸入token混合率)

　　還記得，2023年3月首發(fā)GPT-4時，每百萬token的成本是36美元。

　　博客地址:https://www.deeplearning.ai/the-batch/issue-264/

　　17個月的時間，價格相當于每年下降了79%(4/36= (1- p)^{17/12})。

　　如你所見，token價格正迅速下降!

　　而推動token價格不斷下降的一個因素，便是開源模型(如Llama3.1)的發(fā)布。

　　這是因為，API提供商(如Anyscale、Fireworks、Together AI初創(chuàng)公司，以及一些大型云服務商)并不需要擔心賺回開發(fā)模型所需的成本，因此他們可以直接在價格、速度等其他因素上，開啟競爭。

　　此外，一些芯片公司Groq(快速生成token領先者)、Samba Nova(能以114token/s速度運行Llama3.1405B)、Cerebras(以1800token/s速率運行Llama3.18B)，以及英偉達、AMD、英特爾、高通等半導體巨頭，在硬件上的創(chuàng)新，近一步拉低了模型價格。

　　Groq發(fā)文介紹了，如今支持Llama模型的生態(tài)。

　　「到目前為止，Groq已經(jīng)使用Llama模型套件和自家LPU Inference，每天向40多萬開發(fā)人員提供50億個免費token」。

　　在構建用程序時，吳恩達發(fā)現(xiàn)，根據(jù)未來技術發(fā)展方向，進行設計是非常有用的，而非局限于當前水平。

　　基于多家軟硬件公司的技術路線(改進半導體、更小的模型、推理架構中的算法創(chuàng)新)，可以預見的是，token價格還將持續(xù)下降。

　　這意味著，即便你構建的智能體工作流看起來成本太高，而隨著token價格不斷下降，或許在某個時間，這套方案在未來也變得經(jīng)濟可行。

　　假設你創(chuàng)建了一個APP幫助人類，可每秒連續(xù)輸出100個token。那如果百萬token4美元，每小時只花費1.44美元。

　　這遠遠低于美國，以及許多其他國家最低工資標準。

　　Meta挑戰(zhàn)ChatGPT贏得數(shù)百萬用戶

　　小扎希望，到今年年底，讓Meta AI成為全球使用量最多的AI助手，超越OpenAI的ChatGPT。

　　目前，這一切正朝著他的目標，取得了進展。

　　據(jù)內部2位員工透露，8月初，Meta AI(2023年9月發(fā)布)在發(fā)布不到一年時間里，收攬了至少4億月活躍用戶和4000萬日活躍用戶。

　　這些數(shù)字從側面反映了，超30億用戶的Meta，每天至少使用Meta旗下的一款應用中的AI助手。

　　此外還包括，通過Meta AI專屬網(wǎng)站，以及Ray-Ban智能眼鏡，也收獲了不少用戶。

　　龐大的用戶群，成為大型科技公司優(yōu)勢，希望從ChatGPT中奪取一部分市場份額和關注度。

　　其實，谷歌也向數(shù)十億用戶推廣了對話式AI——Gemini，但力度卻不如Meta。

　　但一些使用Meta應用程序的人，在Facebook、Reddit、X上，抱怨Meta過于激進地推廣AI助手，比如在其APP的鍵盤上添加搜索按鈕。

　　有的人還出了一個關閉Meta AI對話的教程。

　　出于對用戶參與度的擔憂，Meta員工可能會不定期討論的一個問題是，是否有些用戶無意間使用了Meta AI。

　　8月初使用數(shù)據(jù)顯示，大約10%的月活躍用戶，每天使用助手來回答問題、生成圖像和執(zhí)行其他任務。

　　而這一比例遠低于Meta的其他應用程序。

　　Meta此前2月報告稱，80%的月活躍用戶每天至少使用一款自家的應用。

　　這些數(shù)字表明，Meta AI已經(jīng)是ChatGPT強有力的競爭者之一。

　　2022年11月，ChatGPT首次推出。截至目前，每周有超2億人使用。鑒于最近的使用數(shù)據(jù)，Meta AI可能相距不遠。

　　與Meta AI不同，ChatGPT也是一項盈利的業(yè)務模型。

　　數(shù)百萬用戶每月需要支付20美元，成為ChatGPT Plus用戶，才能用上最先進模型撰寫、編程、答問的能力。

　　數(shù)據(jù)顯示，ChatGPT訂閱收入，每年大約高達20億美元。

　　Meta已在今年投入高達400億美金數(shù)據(jù)中心和其他基礎設施。

　　而Meta AI被視為，未來公司獲得這些巨額投資回報的關鍵部分，主要用于開發(fā)這一產品的背后大模型Llama。

　　雖有報道曝出，Meta正推出一個付費版的高級人工智能助手。

　　去年9月，Meta剛剛推出AI助手時，人們最初只能通過Instagram、WhatsApp或Messenger上的直接消息與Meta AI聊天。

　　今年，Meta開始在各種應用中， 讓其變得更加顯眼、容易訪問。

　　4月，他們將Meta AI添加到其應用程序的搜索欄和信息流中，并為其推出了獨立網(wǎng)站meta.ai。

　　同月，Meta還推出了一個新版本的AI助手，該版本能夠識別和解析圖像，并在其Ray-Ban智能眼鏡中廣泛應用。

　　目前，該助手在Meta的應用程序中可用的語言有8種，并在22個國家提供，同時在美國和加拿大的智能眼鏡中提供英語版本。

　　開源AI如火如荼

　　開源AI技術正在迅速發(fā)展，推動著生成式AI的重大創(chuàng)新。通過GitHub和Hugging Face等可訪問的研究和平臺，社區(qū)已經(jīng)啟動了取得突破性成果的項目。

　　生態(tài)系統(tǒng):穩(wěn)步增長，走出泡沫化的底谷期(Trough of Disillusionment)

　　自2023年第一季度的溫和增長以來，開發(fā)者的興趣已經(jīng)增長并穩(wěn)定下來，進入了「穩(wěn)步爬升的光明期」(Slope of Enlightenment)——價值驅動的創(chuàng)新在此增長。

　　2024年，開源AI中嚴肅的開發(fā)者參與(即GitHub貢獻者)仍在繼續(xù)增加。

　　市場分析:開發(fā)工具仍是熱門，訓練和監(jiān)督勢頭正旺

　　- 開源AI產品初創(chuàng)企業(yè)數(shù)量顯著增加

　　2024年，參與開源AI的參與者數(shù)量激增，新的參與者如Neum AI和Patronus AI進入了這一領域，而像Vian AI這樣的老牌參與者也為其用戶提供了開源工具包。

　　- 開發(fā)工具仍然熱門;培訓和監(jiān)控工具競爭加劇

　　大多數(shù)初創(chuàng)企業(yè)仍專注于生成式AI的開發(fā)工具，這對于構建、部署和管理應用程序至關重要。

　　然而，圍繞模型訓練和監(jiān)督用例的初創(chuàng)企業(yè)活動有所增加，這表明可能會向在小眾數(shù)據(jù)上微調模型和增強AI治理的方向轉變。

　　在開源模型領域，領先者開始顯現(xiàn)，開發(fā)的新模型較少，更多的重點放在來自Mistral和Meta等公司的改進和更高效的版本上。

　　- 開源開發(fā)正在縮小與閉源解決方案的差距

　　開源使得研究更具成本效益和可訪問性，促進了來自多元創(chuàng)作者的創(chuàng)新，并且法律限制較少。據(jù)統(tǒng)計，有41%的企業(yè)用戶傾向于選擇開源來滿足生成式AI的需求。

　　融資環(huán)境:融資步伐加快，規(guī)模更大、后期交易增

　　過去兩年，開源AI領域已完成60多筆交易，總融資額超過130億美元。這些交易中有超過45%屬于A輪及以上的融資，表明對增長階段投資的強烈關注。

　　- Deci AI被英偉達以3億美元收購

　　- Scale AI完成了10億美元的F輪融資

　　- Mistral AI完成了6.4億美元的B輪融資

　　- Together AI完成了1.06億美元的A輪融資

　　在開源AI領域中，模型訓練和開發(fā)工具是獲得資金最多的細分領域(不包括Mistral和Databricks)，占總融資的60%。

　　其中，英偉達參與了8筆交易(包括Scale AI、Mistral AI、Together AI)。

　　基礎模型:性能差距已縮小

　　如今，開源和閉源模型之間的基準差距現(xiàn)在比以往任何時候都要小——Meta Llama和Mistral在MMLU上的表現(xiàn)幾乎與GPT-4o相同。

　　其他開源模型，如Qwen和Yi，也在性能上快速趕上。

　　為了解決現(xiàn)有評估(如Elo和MMLU)的局限性，Hugging Face于2024年6月正式推出了專注于復雜任務的開源LLM排行榜——Open-LLM-Leaderboard。

　　在過去的6個月中，隨著新競爭者的出現(xiàn)，開源AI的格局發(fā)生了顯著變化。

　　經(jīng)過大量數(shù)據(jù)預訓練的Qwen，于2024年6月在Huggingface Traction上獲得了最高的下載量。

　　Github:Huggingface、MindsDB和Roboflow非�；鸨�

　　GitHub的stars是項目在GitHub上受歡迎程度的直接指標。

　　AutoGPT和ModularML的Mojo在2023年引領了GitHub熱度——自那時以來，多個倉庫已經(jīng)獲得了顯著的進展。

　　LeRobot提供基于PyTorch的真實世界機器人模型、數(shù)據(jù)集和工具，旨在使機器人技術更易于訪問。它具有最先進的模仿學習和強化學習方法，提供預訓練模型、人類收集的數(shù)據(jù)集和模擬環(huán)境。

　　由英偉達支持的MindsDB是一個使用企業(yè)數(shù)據(jù)構建AI模型的平臺。MindsDB簡化了數(shù)據(jù)源和AI/ML工具之間的連接，自動化工作流程以創(chuàng)建定制的AI系統(tǒng)。