OpenAI聯(lián)合創(chuàng)始人：GPT-4性能在 “有限的數(shù)據(jù)量” 下面臨挑戰(zhàn)

　　OpenAI 的聯(lián)合創(chuàng)始人 John Schulman 近在 Dwarkesh Patel 的播客節(jié)目中分享了他對(duì) GPT-4性能的見解，并提到了由于有限的練數(shù)據(jù)而可能面臨的挑戰(zhàn)。Schulman 在2022年11月 ChatGPT 的推出中扮演了重要角色。

　　被問及人工智能社區(qū)是否接近 “數(shù)據(jù)壁壘”，即記憶大量預(yù)訓(xùn)練數(shù)據(jù)的好處可能不會(huì)導(dǎo)致比 PT-4更智能的模型時(shí)，Schulman 承認(rèn)在這方面確實(shí)存在一些挑戰(zhàn)，但 OpenAI 和公司將不得不改變他們的訓(xùn)練方法以克服這些挑戰(zhàn)。

　　他說:“由于有限的數(shù)據(jù)量，確實(shí)一些挑戰(zhàn)，但我不指望我們會(huì)立即碰到數(shù)據(jù)壁壘。然而，隨著我們接近數(shù)據(jù)壁壘，我計(jì)預(yù)訓(xùn)練的性質(zhì)會(huì)有所改變。”

　　Schulman 還討論了在不同類型的預(yù)訓(xùn)練數(shù)據(jù)上的泛化挑戰(zhàn)如代碼和語言推理，以及特定訓(xùn)練數(shù)據(jù)解鎖的能力可能存在的限制。

　　他還表示，與 GPT - 等之前的模型相比，像 GPT-4這樣的更大型號(hào)的模型更具 “樣本效率”- 這意著這些更大的模型可以使用更少的數(shù)據(jù)進(jìn)行訓(xùn)練達(dá)到相同水平的智能。

　　雖然他沒有這里的擴(kuò)展規(guī)律給出一個(gè)合理的解釋，但他指出，增加的處理能力最終是這個(gè)結(jié)果的原。

　　Sam Altman 也表達(dá)了對(duì)人工通用智能(AGI)發(fā)展的強(qiáng)烈承諾，無論財(cái)務(wù)成本何。他對(duì) AI 驅(qū)動(dòng)的 iPhone 的愿景與公司對(duì) AI 發(fā)展的雄心勃勃目標(biāo)一致。

　　OpenAI 的創(chuàng)始人 John Schulman 對(duì) GPT-4性能進(jìn)行了評(píng)估，并指出其面臨的挑戰(zhàn)。同時(shí)，OpenAI 的 CEO Sam Altman 對(duì)公司的人工智能模型未的發(fā)展也表達(dá)了雄心勃勃的愿景，致力于實(shí)現(xiàn)人工通用智能(AGI)的目標(biāo)。