ChatGPT等模型：到2026年，將消耗盡高質(zhì)量訓(xùn)練數(shù)據(jù)

　　本文來自于微信公眾號(hào) AIGC開放社區(qū)(ID:AIGCOPEN)，作者:AIGC開放社區(qū)。

　　《麻省理工技術(shù)評(píng)論》曾在官網(wǎng)發(fā)表文章表示，隨著ChatGPT等大模型的持續(xù)火熱，對(duì)訓(xùn)練數(shù)據(jù)的需求越來越大。大模型就像是一個(gè)“網(wǎng)絡(luò)黑洞”不斷地吸收，最終會(huì)導(dǎo)致沒有足夠的數(shù)據(jù)進(jìn)行訓(xùn)練。

　　而知名AI研究機(jī)構(gòu)Epochai直接針對(duì)數(shù)據(jù)訓(xùn)練問題發(fā)表了一篇論文，并指出，到2026年，大模型將消耗盡高質(zhì)量數(shù)據(jù);到2030年—2050年，將消耗盡所有低質(zhì)量數(shù)據(jù);

　　到2030年—2060年，將消耗盡所有圖像訓(xùn)練數(shù)據(jù)。(這里的數(shù)據(jù)指的是，沒有被任何標(biāo)記、污染過的原生數(shù)據(jù))

　　事實(shí)上，訓(xùn)練數(shù)據(jù)的問題已經(jīng)顯現(xiàn)。OpenAI表示，缺乏高質(zhì)量訓(xùn)練數(shù)據(jù)將成為開發(fā)GPT-5的重要難題之一。這就像人類上學(xué)一樣，當(dāng)你的知識(shí)水平達(dá)到博士級(jí)別時(shí)，再給你看初中的知識(shí)對(duì)學(xué)習(xí)毫無幫助。

　　所以，OpenAI為了增強(qiáng)GPT-5的學(xué)習(xí)、推理和AGI通用能力，已建立了一個(gè)“數(shù)據(jù)聯(lián)盟”，希望大面積搜集私密、超長文本、視頻、音頻等數(shù)據(jù)，讓模型深度模擬、學(xué)習(xí)人類的思維和工作方式。

　　目前，冰島、Free Law Project等組織已加入該聯(lián)盟，為OpenAI提供各種數(shù)據(jù)，幫助其加速模型研發(fā)。

　　此外，隨著ChatGPT、Midjourney、Gen-2等模型生成的AI內(nèi)容進(jìn)入公共網(wǎng)絡(luò)，這對(duì)人類構(gòu)建的公共數(shù)據(jù)池將產(chǎn)生嚴(yán)重污染，會(huì)出現(xiàn)同質(zhì)化、邏輯單一等特征，加速高質(zhì)量數(shù)據(jù)消耗的進(jìn)程。

　　高質(zhì)量訓(xùn)練數(shù)據(jù)，對(duì)大模型研發(fā)至關(guān)重要

　　從技術(shù)原理來看，可以把大語言模型看成“語言預(yù)測機(jī)器”， 通過學(xué)習(xí)大量文本數(shù)據(jù)，建立起單詞之間的關(guān)聯(lián)模式，然后利用這些模式來預(yù)測文本的下一個(gè)單詞或句子。

　　Transformer便是最著名、應(yīng)用最廣泛的架構(gòu)之一，ChatGPT等借鑒了該技術(shù)。

　　簡單來說，大語言模型就是“照葫蘆畫瓢”，人類怎么說它就怎么說。所以，當(dāng)你使用ChatGPT等模型生成文本時(shí)，會(huì)感覺這些文本內(nèi)容的敘述模式在哪里見過。

　　因此，訓(xùn)練數(shù)據(jù)的質(zhì)量直接決定了大模型學(xué)習(xí)的結(jié)構(gòu)是否準(zhǔn)確。如果數(shù)據(jù)中包含了大量語法錯(cuò)誤、措辭不當(dāng)、斷句不準(zhǔn)、虛假內(nèi)容等，那么模型預(yù)測出來的內(nèi)容自然也包含這些問題。

　　例如，訓(xùn)練了一個(gè)翻譯模型，但使用的數(shù)據(jù)都是胡編亂造的低劣內(nèi)容，AI翻譯出來的內(nèi)容自然會(huì)非常差。

　　這也是為什么我們經(jīng)常會(huì)看到很多參數(shù)很小，性能、輸出能力卻比高參數(shù)還強(qiáng)的模型，主要原因之一便是使用了高質(zhì)量訓(xùn)練數(shù)據(jù)。

　　大模型時(shí)代，數(shù)據(jù)為王

　　正因數(shù)據(jù)的重要性，高質(zhì)量的訓(xùn)練數(shù)據(jù)成為OpenAI、百度、Anthropic、Cohere等廠商必爭的寶貴資源，成為大模型時(shí)代的“石油”。

　　早在今年3月，國內(nèi)還在瘋狂煉丹研究大模型時(shí)，百度已經(jīng)率先發(fā)布了對(duì)標(biāo)ChatGPT的生成式AI產(chǎn)品——文心一言生。

　　除了超強(qiáng)的研發(fā)能力之外，百度通過搜索引擎積累的20多年龐大的中文語料數(shù)據(jù)幫了大忙，并在文心一言的多個(gè)迭代版本中發(fā)揮重要作用，遙遙領(lǐng)先國內(nèi)其他廠商。

　　高質(zhì)量數(shù)據(jù)通常包括出版書籍、文學(xué)作品、學(xué)術(shù)論文、學(xué)校課本、權(quán)威媒體的新聞報(bào)道、維基百科、百度百科等，經(jīng)過時(shí)間、人類驗(yàn)證過的文本、視頻、音頻等數(shù)據(jù)。

　　但研究機(jī)構(gòu)發(fā)現(xiàn)，這類高質(zhì)量數(shù)據(jù)的增長非常緩慢。以出版社書籍為例，需要經(jīng)過市場調(diào)研、初稿、編輯、再審等繁瑣流程，耗費(fèi)幾個(gè)月甚至幾年時(shí)間才能出版一本書，這種數(shù)據(jù)產(chǎn)出速度，遠(yuǎn)遠(yuǎn)落后大模型訓(xùn)練數(shù)據(jù)需求的增長。

　　從大語言模型過去4年的發(fā)展趨勢來看，其年訓(xùn)練數(shù)據(jù)量的增速超過了50%。也就是說，每過1年就需要雙倍的數(shù)據(jù)量來訓(xùn)練模型，才能實(shí)現(xiàn)性能、功能的提升。

　　所以，你會(huì)看到很多國家、企業(yè)嚴(yán)格保護(hù)數(shù)據(jù)隱私以及制定了相關(guān)條例，一方面，是保護(hù)用戶的隱私不被第三方機(jī)構(gòu)搜集，出現(xiàn)盜取、亂用的情況;

　　另一方面，便是為了防止重要數(shù)據(jù)被少數(shù)機(jī)構(gòu)壟斷和囤積，在技術(shù)研發(fā)時(shí)無數(shù)據(jù)可用。

　　到2026年，高質(zhì)量訓(xùn)練數(shù)據(jù)可能會(huì)用光

　　為了研究訓(xùn)練數(shù)據(jù)消耗問題，Epochai的研究人員模擬了從2022年—2100年，全球每年產(chǎn)生的語言和圖像數(shù)據(jù)，然后計(jì)算這些數(shù)據(jù)的總量。

　　又模擬了ChatGPT等大模型對(duì)數(shù)據(jù)的消耗速率。最后，比較了數(shù)據(jù)增長速度和被消耗的速度，得出了以下重要結(jié)論:

　　在當(dāng)前大模型的高速發(fā)展趨勢下， 到2030年—2050年將消耗盡所有低質(zhì)量數(shù)據(jù);高質(zhì)量數(shù)據(jù)，極有可能在2026年就會(huì)消耗完。

　　到2030年—2060年，將消耗盡所有圖像訓(xùn)練數(shù)據(jù);到2040年，由于缺乏訓(xùn)練數(shù)據(jù)，大模型的功能迭代可能會(huì)出現(xiàn)放緩的跡象。

　　研究人員使用了兩個(gè)模型進(jìn)行了計(jì)算:第一個(gè)模型，通過大語言和圖像模型兩個(gè)領(lǐng)域?qū)嶋H使用的數(shù)據(jù)集增長趨勢，再利用歷史統(tǒng)計(jì)數(shù)據(jù)進(jìn)行外推，預(yù)測它們何時(shí)會(huì)達(dá)到消耗峰值和平均消耗。

　　第二個(gè)模型:預(yù)測未來每年全球范圍內(nèi)將產(chǎn)生多少新數(shù)據(jù)。該模型基于三個(gè)變量，全球人口數(shù)量、互聯(lián)網(wǎng)普及率和平均每個(gè)網(wǎng)民每年產(chǎn)生的數(shù)據(jù)。

　　同時(shí)研究人員使用聯(lián)合國數(shù)據(jù)擬合出人口增長曲線，用一個(gè)S型函數(shù)擬合互聯(lián)網(wǎng)使用率，并做出每人每年產(chǎn)數(shù)據(jù)基本不變的簡單假設(shè)，三者相乘即可估算全球每年的新數(shù)據(jù)量。

　　該模型已經(jīng)準(zhǔn)確預(yù)測出Reddit(知名論壇)每個(gè)月產(chǎn)出的數(shù)據(jù)，所以，準(zhǔn)確率很高。

　　最后，研究人員將兩個(gè)模型進(jìn)行相結(jié)合得出了以上結(jié)論。

　　研究人員表示，雖然這個(gè)數(shù)據(jù)是模擬、估算出來的，存在一定的不確定性。但為大模型界敲響了警鐘，訓(xùn)練數(shù)據(jù)可能很快成為制約AI模型擴(kuò)展和應(yīng)用的重要瓶頸。

　　AI廠商們需要提前布局?jǐn)?shù)據(jù)再生、合成的有效方法，避免在發(fā)展大模型的過程中出現(xiàn)斷崖式數(shù)據(jù)短缺。‍

　　本文素材來源麻省理工科技評(píng)論官網(wǎng)、Epochai論文，如有侵權(quán)請(qǐng)聯(lián)系刪除