本文來自于微信公眾號 AIGC開放社區(qū)(ID:AIGCOPEN),作者:AIGC開放社區(qū)。
《麻省理工技術(shù)評論》曾在官網(wǎng)發(fā)表文章表示,隨著ChatGPT等大模型的持續(xù)火熱,對訓(xùn)練數(shù)據(jù)的需求越來越大。大模型就像是一個“網(wǎng)絡(luò)黑洞”不斷地吸收,最終會導(dǎo)致沒有足夠的數(shù)據(jù)進行訓(xùn)練。
而知名AI研究機構(gòu)Epochai直接針對數(shù)據(jù)訓(xùn)練問題發(fā)表了一篇論文,并指出,到2026年,大模型將消耗盡高質(zhì)量數(shù)據(jù);到2030年—2050年,將消耗盡所有低質(zhì)量數(shù)據(jù);
到2030年—2060年,將消耗盡所有圖像訓(xùn)練數(shù)據(jù)。(這里的數(shù)據(jù)指的是,沒有被任何標記、污染過的原生數(shù)據(jù))
事實上,訓(xùn)練數(shù)據(jù)的問題已經(jīng)顯現(xiàn)。OpenAI表示,缺乏高質(zhì)量訓(xùn)練數(shù)據(jù)將成為開發(fā)GPT-5的重要難題之一。這就像人類上學(xué)一樣,當你的知識水平達到博士級別時,再給你看初中的知識對學(xué)習(xí)毫無幫助。
所以,OpenAI為了增強GPT-5的學(xué)習(xí)、推理和AGI通用能力,已建立了一個“數(shù)據(jù)聯(lián)盟”,希望大面積搜集私密、超長文本、視頻、音頻等數(shù)據(jù),讓模型深度模擬、學(xué)習(xí)人類的思維和工作方式。
目前,冰島、Free Law Project等組織已加入該聯(lián)盟,為OpenAI提供各種數(shù)據(jù),幫助其加速模型研發(fā)。
此外,隨著ChatGPT、Midjourney、Gen-2等模型生成的AI內(nèi)容進入公共網(wǎng)絡(luò),這對人類構(gòu)建的公共數(shù)據(jù)池將產(chǎn)生嚴重污染,會出現(xiàn)同質(zhì)化、邏輯單一等特征,加速高質(zhì)量數(shù)據(jù)消耗的進程。
高質(zhì)量訓(xùn)練數(shù)據(jù),對大模型研發(fā)至關(guān)重要
從技術(shù)原理來看,可以把大語言模型看成“語言預(yù)測機器”, 通過學(xué)習(xí)大量文本數(shù)據(jù),建立起單詞之間的關(guān)聯(lián)模式,然后利用這些模式來預(yù)測文本的下一個單詞或句子。
Transformer便是最著名、應(yīng)用最廣泛的架構(gòu)之一,ChatGPT等借鑒了該技術(shù)。
簡單來說,大語言模型就是“照葫蘆畫瓢”,人類怎么說它就怎么說。所以,當你使用ChatGPT等模型生成文本時,會感覺這些文本內(nèi)容的敘述模式在哪里見過。
因此,訓(xùn)練數(shù)據(jù)的質(zhì)量直接決定了大模型學(xué)習(xí)的結(jié)構(gòu)是否準確。如果數(shù)據(jù)中包含了大量語法錯誤、措辭不當、斷句不準、虛假內(nèi)容等,那么模型預(yù)測出來的內(nèi)容自然也包含這些問題。
例如,訓(xùn)練了一個翻譯模型,但使用的數(shù)據(jù)都是胡編亂造的低劣內(nèi)容,AI翻譯出來的內(nèi)容自然會非常差。
這也是為什么我們經(jīng)常會看到很多參數(shù)很小,性能、輸出能力卻比高參數(shù)還強的模型,主要原因之一便是使用了高質(zhì)量訓(xùn)練數(shù)據(jù)。
大模型時代,數(shù)據(jù)為王
正因數(shù)據(jù)的重要性,高質(zhì)量的訓(xùn)練數(shù)據(jù)成為OpenAI、百度、Anthropic、Cohere等廠商必爭的寶貴資源,成為大模型時代的“石油”。
早在今年3月,國內(nèi)還在瘋狂煉丹研究大模型時,百度已經(jīng)率先發(fā)布了對標ChatGPT的生成式AI產(chǎn)品——文心一言生。
除了超強的研發(fā)能力之外,百度通過搜索引擎積累的20多年龐大的中文語料數(shù)據(jù)幫了大忙,并在文心一言的多個迭代版本中發(fā)揮重要作用,遙遙領(lǐng)先國內(nèi)其他廠商。
高質(zhì)量數(shù)據(jù)通常包括出版書籍、文學(xué)作品、學(xué)術(shù)論文、學(xué)校課本、權(quán)威媒體的新聞報道、維基百科、百度百科等,經(jīng)過時間、人類驗證過的文本、視頻、音頻等數(shù)據(jù)。
但研究機構(gòu)發(fā)現(xiàn),這類高質(zhì)量數(shù)據(jù)的增長非常緩慢。以出版社書籍為例,需要經(jīng)過市場調(diào)研、初稿、編輯、再審等繁瑣流程,耗費幾個月甚至幾年時間才能出版一本書,這種數(shù)據(jù)產(chǎn)出速度,遠遠落后大模型訓(xùn)練數(shù)據(jù)需求的增長。
從大語言模型過去4年的發(fā)展趨勢來看,其年訓(xùn)練數(shù)據(jù)量的增速超過了50%。也就是說,每過1年就需要雙倍的數(shù)據(jù)量來訓(xùn)練模型,才能實現(xiàn)性能、功能的提升。
所以,你會看到很多國家、企業(yè)嚴格保護數(shù)據(jù)隱私以及制定了相關(guān)條例,一方面,是保護用戶的隱私不被第三方機構(gòu)搜集,出現(xiàn)盜取、亂用的情況;
另一方面,便是為了防止重要數(shù)據(jù)被少數(shù)機構(gòu)壟斷和囤積,在技術(shù)研發(fā)時無數(shù)據(jù)可用。
到2026年,高質(zhì)量訓(xùn)練數(shù)據(jù)可能會用光
為了研究訓(xùn)練數(shù)據(jù)消耗問題,Epochai的研究人員模擬了從2022年—2100年,全球每年產(chǎn)生的語言和圖像數(shù)據(jù),然后計算這些數(shù)據(jù)的總量。
又模擬了ChatGPT等大模型對數(shù)據(jù)的消耗速率。最后,比較了數(shù)據(jù)增長速度和被消耗的速度,得出了以下重要結(jié)論:
在當前大模型的高速發(fā)展趨勢下, 到2030年—2050年將消耗盡所有低質(zhì)量數(shù)據(jù);高質(zhì)量數(shù)據(jù),極有可能在2026年就會消耗完。
到2030年—2060年,將消耗盡所有圖像訓(xùn)練數(shù)據(jù);到2040年,由于缺乏訓(xùn)練數(shù)據(jù),大模型的功能迭代可能會出現(xiàn)放緩的跡象。
研究人員使用了兩個模型進行了計算:第一個模型,通過大語言和圖像模型兩個領(lǐng)域?qū)嶋H使用的數(shù)據(jù)集增長趨勢,再利用歷史統(tǒng)計數(shù)據(jù)進行外推,預(yù)測它們何時會達到消耗峰值和平均消耗。
第二個模型:預(yù)測未來每年全球范圍內(nèi)將產(chǎn)生多少新數(shù)據(jù)。該模型基于三個變量,全球人口數(shù)量、互聯(lián)網(wǎng)普及率和平均每個網(wǎng)民每年產(chǎn)生的數(shù)據(jù)。
同時研究人員使用聯(lián)合國數(shù)據(jù)擬合出人口增長曲線,用一個S型函數(shù)擬合互聯(lián)網(wǎng)使用率,并做出每人每年產(chǎn)數(shù)據(jù)基本不變的簡單假設(shè),三者相乘即可估算全球每年的新數(shù)據(jù)量。
該模型已經(jīng)準確預(yù)測出Reddit(知名論壇)每個月產(chǎn)出的數(shù)據(jù),所以,準確率很高。
最后,研究人員將兩個模型進行相結(jié)合得出了以上結(jié)論。
研究人員表示,雖然這個數(shù)據(jù)是模擬、估算出來的,存在一定的不確定性。但為大模型界敲響了警鐘,訓(xùn)練數(shù)據(jù)可能很快成為制約AI模型擴展和應(yīng)用的重要瓶頸。
AI廠商們需要提前布局數(shù)據(jù)再生、合成的有效方法,避免在發(fā)展大模型的過程中出現(xiàn)斷崖式數(shù)據(jù)短缺。
本文素材來源麻省理工科技評論官網(wǎng)、Epochai論文,如有侵權(quán)請聯(lián)系刪除
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風(fēng)險自擔。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設(shè)計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。