OpenAI CEO：巨型AI模型時代即將終結(jié)，想進(jìn)步別再靠擴(kuò)大規(guī)模

　　4月18日消息，OpenAI的聊天機(jī)器人ChatGPT可謂是功能強(qiáng)大，引起了人們對人工智能的極大興趣和投資。但該公司的CEO薩姆·奧爾特曼(Sam Altman)認(rèn)為，現(xiàn)有研究策略已經(jīng)失效，未來的AI進(jìn)步需要新的思路。

　　近年來，OpenAI通過將現(xiàn)有的機(jī)器學(xué)習(xí)算法擴(kuò)展到以前無法想象的規(guī)模，在處理語言方面取得了一系列令人印象深刻的進(jìn)步。其最近開發(fā)的項目是GPT-4，據(jù)稱已經(jīng)使用數(shù)萬億字的文本和數(shù)千個強(qiáng)大的計算機(jī)芯片進(jìn)行訓(xùn)練，耗資超過1億美元。

　　但是，奧爾特曼表示，未來AI的進(jìn)步不再依賴于將模型變得更大。在麻省理工學(xué)院的一次活動上，他說：“我認(rèn)為，我們正處在一個時代的盡頭。在(即將過去的)這個時代，模型變得越來越大。現(xiàn)在，我們會在其他方面讓它們變得更好。”

　　奧爾特曼的表態(tài)意味著，開發(fā)和部署新AI算法的競賽出現(xiàn)了出人意料的轉(zhuǎn)折。自去年11月推出ChatGPT以來，微軟就開始利用這一底層技術(shù)在其必應(yīng)搜索引擎中添加了聊天機(jī)器人，谷歌也推出了名為Bard的競爭對手。許多人都迫不及待地嘗試使用這種新型聊天機(jī)器人來幫助完成工作或個人任務(wù)。

　　與此同時，許多資金充足的初創(chuàng)公司，包括Anthropic、AI21、Cohere和Character.AI等，正在投入大量資源用于構(gòu)建更大的算法，以努力趕上OpenAI的腳步。ChatGPT的初始版本是基于GPT-3構(gòu)建的，但用戶現(xiàn)在也可以訪問功能更強(qiáng)大的GPT-4支持的版本。

　　奧爾特曼的陳述也暗示，采用將模型擴(kuò)大并提供更多數(shù)據(jù)進(jìn)行訓(xùn)練的策略后，GPT-4可能是OpenAI最后一項重大成果。不過，他沒有透露任何可能替代當(dāng)前方法的研究策略或技術(shù)。在描述GPT-4的論文中，OpenAI表示，其估計表明，擴(kuò)大模型規(guī)模的回報正在減少。奧爾特曼說，該公司可以建立的數(shù)據(jù)中心數(shù)量以及建設(shè)這些中心的速度也都受到物理限制。

　　Cohere的聯(lián)合創(chuàng)始人尼克·弗羅斯特(Nick Frosst)曾在谷歌從事人工智能研究，他表示，奧爾特曼所說的“不斷擴(kuò)大模型規(guī)模并不是無限制的有效解決方案”是正確的。他認(rèn)為，針對GPT-4和其他transformers類型(編輯組：transformers直譯為轉(zhuǎn)換器，而GPT是Generative pre-trained transformers的簡寫，意思是基于轉(zhuǎn)換器的生成式預(yù)訓(xùn)練模型)的機(jī)器學(xué)習(xí)模型，進(jìn)展不再只是靠擴(kuò)大規(guī)模。

　　弗羅斯特補(bǔ)充說：“有很多方法可以讓transformers變得更好、更有用，而且很多方法都不涉及給模型增加參數(shù)。新的人工智能模型設(shè)計或架構(gòu)，以及基于人類反饋的進(jìn)一步調(diào)整，都是許多研究人員已經(jīng)在探索的前進(jìn)方向。”

　　在OpenAI的語言算法家族中，每個版本都由人工神經(jīng)網(wǎng)絡(luò)組成，這個軟件的設(shè)計靈感來自于神經(jīng)元之間相互作用的方式，經(jīng)過訓(xùn)練后，它可以預(yù)測應(yīng)該跟隨在給定文本字符串后面的單詞。

　　2019年，OpenAI發(fā)布了其第一個語言模型GPT-2。它最多涉及到15億個參數(shù)，這一指標(biāo)能夠衡量神經(jīng)元之間可調(diào)整的連接數(shù)量的大小。這個數(shù)字非常大，這在某種程度上要歸功于OpenAI研究人員的發(fā)現(xiàn)，擴(kuò)大規(guī)模使模型變得更加連貫。

　　2020年，OpenAI推出GPT-2的后繼者GPT-3，該模型規(guī)模更大，參數(shù)高達(dá)1750億個。GPT-3在生成詩歌、電子郵件和其他文本方面具備廣泛能力，這令其他公司和研究機(jī)構(gòu)相信，他們可以將自己的AI模型擴(kuò)展到與GPT-3類似甚至更大的規(guī)模。

　　去年11月，ChatGPT首次亮相后，表情包制造者和科技專家猜測，當(dāng)GPT-4問世時，它將是個擁有更多參數(shù)、更為復(fù)雜的模型。然而，當(dāng)OpenAI最終宣布新的人工智能模型時，該公司沒有透露它有多大，也許是因為規(guī)模不再是唯一重要的因素。在麻省理工學(xué)院的活動上，奧爾特曼被問及GPT-4的培訓(xùn)成本是否有1億美元，他回答說：“不止如此。”

　　盡管OpenAI對GPT-4的規(guī)模和內(nèi)部工作原理保密，但很可能它已經(jīng)不再僅僅依賴于擴(kuò)大規(guī)模來提高性能。有一種可能性是，該公司使用了名為“強(qiáng)化學(xué)習(xí)與人類反饋”的方法，用于增強(qiáng)ChatGPT的能力，包括讓人類判斷模型答案的質(zhì)量，以引導(dǎo)它提供更有可能被判斷為高質(zhì)量的答案。

　　GPT-4的非凡能力讓許多專家感到震驚，并引發(fā)了關(guān)于AI改變經(jīng)濟(jì)潛力的辯論，以及其可能傳播虛假信息和制造失業(yè)的擔(dān)憂。許多企業(yè)家和AI專家最近簽署了一封公開信，呼吁暫停開發(fā)比GPT-4更強(qiáng)大的模型6個月，其中包括特斯拉首席執(zhí)行官埃隆·馬斯克。

　　在麻省理工學(xué)院的活動中，奧爾特曼證實，他的公司目前沒有開發(fā)GPT-5。他補(bǔ)充說：“這封公開信的早期版本聲稱OpenAI正在訓(xùn)練GPT-5。實際上我們并沒有這樣做，短期內(nèi)也不會。”