大型科技公司擁才有承擔 AI 訓練數(shù)據(jù)成本的能力

　　AI 的發(fā)展離不開數(shù)據(jù)，而這種數(shù)據(jù)的成本越來越高，這使得除了最富有的科技公司外，其他公司難以承擔這一成本。根據(jù)去年 OpenAI 的研究人員 James Betker 的文章，AI 模型的訓練數(shù)據(jù)是決定模型能力的關(guān)鍵因素。傳統(tǒng)的 AI 系統(tǒng)主要是基于統(tǒng)計機器，通過大量示例來猜測最 “合理” 的數(shù)據(jù)分布，因此模型所依賴的數(shù)據(jù)量越大，性能就越好。

　　AI 研究非營利機構(gòu) AI2的高級研究科學家 Kyle Lo 指出，Meta 的 Llama3模型在數(shù)據(jù)量方面明顯優(yōu)于 AI2的 OLMo 模型，這解釋了其在許多流行 AI 基準測試中的優(yōu)勢。然而，并不是數(shù)據(jù)量越大，模型性能就會線性提升，數(shù)據(jù)質(zhì)量和整理同樣重要，有時甚至比數(shù)量更重要。一些 AI 模型是通過讓人類標注數(shù)據(jù)來進行訓練的，質(zhì)量較高的標注對模型性能有巨大影響。

　　然而，Lo 等專家擔心，對大型、高質(zhì)量訓練數(shù)據(jù)集的需求將 AI 發(fā)展集中在少數(shù)具備數(shù)十億美元預算的公司手中。盡管一些非法甚至犯罪行為可能會對數(shù)據(jù)獲取方式提出質(zhì)疑，但技術(shù)巨頭憑借資金實力能夠獲取數(shù)據(jù)許可。這些數(shù)據(jù)交易的過程并未促進一個公平開放的生成式 AI 生態(tài)系統(tǒng)，讓整個 AI 研究社區(qū)備受其害。

　　一些獨立、非營利性的組織嘗試開放大規(guī)模數(shù)據(jù)集，如 EleutherAI 和 Hugging Face，但它們是否能趕上大型科技公司的步伐仍是一個未知數(shù)。只有當研究突破技術(shù)壁壘，數(shù)據(jù)收集和整理成本不再是問題時，這些開放性的數(shù)據(jù)集才有希望與科技巨頭競爭。