下單前先比價不花冤枉錢 同款圖書京東價低于抖音6折日媒感慨中國電動汽車/智駕遙遙領(lǐng)先:本田、日產(chǎn)、三菱合并也沒戲消委會吹風(fēng)機品質(zhì)檢測結(jié)果揭曉 徠芬獨占鰲頭 共話新質(zhì)營銷力,2024梅花數(shù)據(jù)峰會圓滿落幕索尼影像專業(yè)服務(wù) PRO Support 升級,成為會員至少需注冊 2 臺 α 全畫幅相機、3 支 G 大師鏡頭消息稱vivo加碼電池軍備競賽:6500mAh 旗艦機+7500mAh中端機寶馬M8雙門轎跑車明年年初將停產(chǎn),后續(xù)無2026款車型比亞迪:2025 款漢家族車型城市領(lǐng)航智駕功能開啟內(nèi)測雷神預(yù)告2025年首次出席CES 將發(fā)布三款不同技術(shù)原理智能眼鏡realme真我全球首發(fā)聯(lián)發(fā)科天璣 8400 耐玩戰(zhàn)神共創(chuàng)計劃iQOO Z9 Turbo長續(xù)航版手機被曝電池加大到6400mAh,搭驍龍 8s Gen 3處理器普及放緩 銷量大跌:曝保時捷將重新評估電動汽車計劃來京東參與榮耀Magic7 RSR 保時捷設(shè)計預(yù)售 享365天只換不修國補期間電視迎來換機潮,最暢銷MiniLED品牌花落誰家?美團旗下微信社群團購業(yè)務(wù)“團買買”宣布年底停運消息稱微軟正與第三方廠商洽談,試圖合作推出Xbox游戲掌機設(shè)備在海外,要再造一個京東物流?消息稱蘋果正為AirPods開發(fā)多項健康功能,包括心率監(jiān)測和溫度感應(yīng)一加 Ace 5系列將搭載全新游戲助手:大幅提升游戲體驗東芝全部業(yè)務(wù)實現(xiàn)盈利,退市裁員重組后終于賺錢
  • 首頁 > 企業(yè)IT頻道 > 人工智能

    OpenAI CEO:巨型AI模型時代即將終結(jié),想進步別再靠擴大規(guī)模

    2023年04月18日 16:54:06   來源:網(wǎng)易科技

      4月18日消息,OpenAI的聊天機器人ChatGPT可謂是功能強大,引起了人們對人工智能的極大興趣和投資。但該公司的CEO薩姆·奧爾特曼(Sam Altman)認(rèn)為,現(xiàn)有研究策略已經(jīng)失效,未來的AI進步需要新的思路。

      近年來,OpenAI通過將現(xiàn)有的機器學(xué)習(xí)算法擴展到以前無法想象的規(guī)模,在處理語言方面取得了一系列令人印象深刻的進步。其最近開發(fā)的項目是GPT-4,據(jù)稱已經(jīng)使用數(shù)萬億字的文本和數(shù)千個強大的計算機芯片進行訓(xùn)練,耗資超過1億美元。

      但是,奧爾特曼表示,未來AI的進步不再依賴于將模型變得更大。在麻省理工學(xué)院的一次活動上,他說:“我認(rèn)為,我們正處在一個時代的盡頭。在(即將過去的)這個時代,模型變得越來越大。現(xiàn)在,我們會在其他方面讓它們變得更好。”

      奧爾特曼的表態(tài)意味著,開發(fā)和部署新AI算法的競賽出現(xiàn)了出人意料的轉(zhuǎn)折。自去年11月推出ChatGPT以來,微軟就開始利用這一底層技術(shù)在其必應(yīng)搜索引擎中添加了聊天機器人,谷歌也推出了名為Bard的競爭對手。許多人都迫不及待地嘗試使用這種新型聊天機器人來幫助完成工作或個人任務(wù)。

      與此同時,許多資金充足的初創(chuàng)公司,包括Anthropic、AI21、Cohere和Character.AI等,正在投入大量資源用于構(gòu)建更大的算法,以努力趕上OpenAI的腳步。ChatGPT的初始版本是基于GPT-3構(gòu)建的,但用戶現(xiàn)在也可以訪問功能更強大的GPT-4支持的版本。

      奧爾特曼的陳述也暗示,采用將模型擴大并提供更多數(shù)據(jù)進行訓(xùn)練的策略后,GPT-4可能是OpenAI最后一項重大成果。不過,他沒有透露任何可能替代當(dāng)前方法的研究策略或技術(shù)。在描述GPT-4的論文中,OpenAI表示,其估計表明,擴大模型規(guī)模的回報正在減少。奧爾特曼說,該公司可以建立的數(shù)據(jù)中心數(shù)量以及建設(shè)這些中心的速度也都受到物理限制。

      Cohere的聯(lián)合創(chuàng)始人尼克·弗羅斯特(Nick Frosst)曾在谷歌從事人工智能研究,他表示,奧爾特曼所說的“不斷擴大模型規(guī)模并不是無限制的有效解決方案”是正確的。他認(rèn)為,針對GPT-4和其他transformers類型(編輯組:transformers直譯為轉(zhuǎn)換器,而GPT是Generative pre-trained transformers的簡寫,意思是基于轉(zhuǎn)換器的生成式預(yù)訓(xùn)練模型)的機器學(xué)習(xí)模型,進展不再只是靠擴大規(guī)模。

      弗羅斯特補充說:“有很多方法可以讓transformers變得更好、更有用,而且很多方法都不涉及給模型增加參數(shù)。新的人工智能模型設(shè)計或架構(gòu),以及基于人類反饋的進一步調(diào)整,都是許多研究人員已經(jīng)在探索的前進方向。”

      在OpenAI的語言算法家族中,每個版本都由人工神經(jīng)網(wǎng)絡(luò)組成,這個軟件的設(shè)計靈感來自于神經(jīng)元之間相互作用的方式,經(jīng)過訓(xùn)練后,它可以預(yù)測應(yīng)該跟隨在給定文本字符串后面的單詞。

      2019年,OpenAI發(fā)布了其第一個語言模型GPT-2。它最多涉及到15億個參數(shù),這一指標(biāo)能夠衡量神經(jīng)元之間可調(diào)整的連接數(shù)量的大小。這個數(shù)字非常大,這在某種程度上要歸功于OpenAI研究人員的發(fā)現(xiàn),擴大規(guī)模使模型變得更加連貫。

      2020年,OpenAI推出GPT-2的后繼者GPT-3,該模型規(guī)模更大,參數(shù)高達(dá)1750億個。GPT-3在生成詩歌、電子郵件和其他文本方面具備廣泛能力,這令其他公司和研究機構(gòu)相信,他們可以將自己的AI模型擴展到與GPT-3類似甚至更大的規(guī)模。

      去年11月,ChatGPT首次亮相后,表情包制造者和科技專家猜測,當(dāng)GPT-4問世時,它將是個擁有更多參數(shù)、更為復(fù)雜的模型。然而,當(dāng)OpenAI最終宣布新的人工智能模型時,該公司沒有透露它有多大,也許是因為規(guī)模不再是唯一重要的因素。在麻省理工學(xué)院的活動上,奧爾特曼被問及GPT-4的培訓(xùn)成本是否有1億美元,他回答說:“不止如此。”

      盡管OpenAI對GPT-4的規(guī)模和內(nèi)部工作原理保密,但很可能它已經(jīng)不再僅僅依賴于擴大規(guī)模來提高性能。有一種可能性是,該公司使用了名為“強化學(xué)習(xí)與人類反饋”的方法,用于增強ChatGPT的能力,包括讓人類判斷模型答案的質(zhì)量,以引導(dǎo)它提供更有可能被判斷為高質(zhì)量的答案。

      GPT-4的非凡能力讓許多專家感到震驚,并引發(fā)了關(guān)于AI改變經(jīng)濟潛力的辯論,以及其可能傳播虛假信息和制造失業(yè)的擔(dān)憂。許多企業(yè)家和AI專家最近簽署了一封公開信,呼吁暫停開發(fā)比GPT-4更強大的模型6個月,其中包括特斯拉首席執(zhí)行官埃隆·馬斯克。

      在麻省理工學(xué)院的活動中,奧爾特曼證實,他的公司目前沒有開發(fā)GPT-5。他補充說:“這封公開信的早期版本聲稱OpenAI正在訓(xùn)練GPT-5。實際上我們并沒有這樣做,短期內(nèi)也不會。”

     

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。

    3C消費

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。