大型科技公司擁才有承擔(dān) AI 訓(xùn)練數(shù)據(jù)成本的能力

　　AI 的發(fā)展離不開(kāi)數(shù)據(jù)，而這種數(shù)據(jù)的成本越來(lái)越高，這使得除了最富有的科技公司外，其他公司難以承擔(dān)這一成本。根據(jù)去年 OpenAI 的研究人員 James Betker 的文章，AI 模型的訓(xùn)練數(shù)據(jù)是決定模型能力的關(guān)鍵因素。傳統(tǒng)的 AI 系統(tǒng)主要是基于統(tǒng)計(jì)機(jī)器，通過(guò)大量示例來(lái)猜測(cè)最 “合理” 的數(shù)據(jù)分布，因此模型所依賴的數(shù)據(jù)量越大，性能就越好。

　　AI 研究非營(yíng)利機(jī)構(gòu) AI2的高級(jí)研究科學(xué)家 Kyle Lo 指出，Meta 的 Llama3模型在數(shù)據(jù)量方面明顯優(yōu)于 AI2的 OLMo 模型，這解釋了其在許多流行 AI 基準(zhǔn)測(cè)試中的優(yōu)勢(shì)。然而，并不是數(shù)據(jù)量越大，模型性能就會(huì)線性提升，數(shù)據(jù)質(zhì)量和整理同樣重要，有時(shí)甚至比數(shù)量更重要。一些 AI 模型是通過(guò)讓人類標(biāo)注數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練的，質(zhì)量較高的標(biāo)注對(duì)模型性能有巨大影響。

　　然而，Lo 等專家擔(dān)心，對(duì)大型、高質(zhì)量訓(xùn)練數(shù)據(jù)集的需求將 AI 發(fā)展集中在少數(shù)具備數(shù)十億美元預(yù)算的公司手中。盡管一些非法甚至犯罪行為可能會(huì)對(duì)數(shù)據(jù)獲取方式提出質(zhì)疑，但技術(shù)巨頭憑借資金實(shí)力能夠獲取數(shù)據(jù)許可。這些數(shù)據(jù)交易的過(guò)程并未促進(jìn)一個(gè)公平開(kāi)放的生成式 AI 生態(tài)系統(tǒng)，讓整個(gè) AI 研究社區(qū)備受其害。

　　一些獨(dú)立、非營(yíng)利性的組織嘗試開(kāi)放大規(guī)模數(shù)據(jù)集，如 EleutherAI 和 Hugging Face，但它們是否能趕上大型科技公司的步伐仍是一個(gè)未知數(shù)。只有當(dāng)研究突破技術(shù)壁壘，數(shù)據(jù)收集和整理成本不再是問(wèn)題時(shí)，這些開(kāi)放性的數(shù)據(jù)集才有希望與科技巨頭競(jìng)爭(zhēng)。