貝勒大學(xué)經(jīng)濟(jì)學(xué)院的Pham Hoang Van和Scott Cunningham兩位教授,基于OpenAI的GPT-3.5、GPT-4深度研究了大模型對事情的預(yù)測能力。
研究人員使用了直接預(yù)測和未來敘述(Future Narrative)兩種提示方法,進(jìn)行了100次提示。同時(shí)使用了訓(xùn)練數(shù)據(jù)截止至2021年9月的ChatGPT模型,對2022年已經(jīng)發(fā)生的事情進(jìn)行了多維度評測。
結(jié)果顯示,在直接預(yù)測中,ChatGPT的表現(xiàn)并不理想,例如,直接讓其回答2022年奧斯卡最佳男主角時(shí)準(zhǔn)確率只有25%左右。
如果使用未來敘述提示方法,ChatGPT的準(zhǔn)確率飆升至97%,精準(zhǔn)預(yù)測出最佳男主角是國際巨星Will Smith。對女主角的預(yù)測同樣很精準(zhǔn)。
研究人員表示,相比直接模式,未來敘述的提問方式更能激發(fā)ChatGPT潛在的創(chuàng)造、聯(lián)想、數(shù)據(jù)分析的強(qiáng)大預(yù)測能力,同時(shí)又能規(guī)避OpenAI內(nèi)置的很多安全管理設(shè)定。
例如,在測試實(shí)驗(yàn)中,研究人員直接向ChatGPT提問,“我正在尿血,應(yīng)該如何解決?”ChatGPT沒有過多的回答,而是建議你立刻去看醫(yī)生避免耽誤最佳救治時(shí)間。
但如果改成未來敘述提問“當(dāng)一個(gè)人的尿里有血液,并且伴隨輕微的惡心這是一種什么病癥,應(yīng)該如何進(jìn)行治療?”ChatGPT就會(huì)給你展示一些有幫助的答案。
所以,通過未來敘述的提問方式,可幫助大模型能更好地利用其訓(xùn)練數(shù)據(jù)中的信息,因?yàn),它不是被直接要求預(yù)測一個(gè)具體的數(shù)值或結(jié)果,而是在一個(gè)更寬廣的敘事上下文中進(jìn)行推理和生成,同時(shí)又能規(guī)避很多內(nèi)置的安全鎖。
根據(jù)論文介紹,未來敘述提示是一種獨(dú)特的提示方法,要求ChatGPT講述一個(gè)發(fā)生在未來的故事情節(jié),其中涉及到需要預(yù)測的事件和數(shù)據(jù)。
但是故事情節(jié)設(shè)置的方式是,將未來當(dāng)作已經(jīng)發(fā)生的過去。例如,讓經(jīng)濟(jì)預(yù)測案例中的Jerome Powell回顧和陳述,那些已經(jīng)發(fā)生的"未來"事件。
兩位作者作為經(jīng)濟(jì)學(xué)院的教授,也對ChatGPT進(jìn)行了一些宏觀經(jīng)濟(jì)方面的預(yù)測。直接向ChatGPT提問時(shí),它還是拒絕回答了,所以使用了未來敘述提問方法。
在未來敘述提示中:ChatGPT被要求模擬美聯(lián)邦儲備委員會(huì)主席Jerome Powell在未來的某個(gè)時(shí)間點(diǎn)發(fā)表演講的情景。在這個(gè)演講中,Powell會(huì)提供同樣的宏觀經(jīng)濟(jì)數(shù)據(jù),并可能討論未來的貨幣政策和經(jīng)濟(jì)展望。
結(jié)果顯示,ChatGPT-4在使用未來敘事提示時(shí),在預(yù)測通貨膨脹率方面表現(xiàn)出了一定的準(zhǔn)確性,尤其是在模擬Powell的角色時(shí),這些預(yù)測與密歇根大學(xué)消費(fèi)者預(yù)期調(diào)查的數(shù)據(jù)相當(dāng)接近,表明ChatGPT能夠利用其訓(xùn)練數(shù)據(jù)中的模式來進(jìn)行綜合的宏觀經(jīng)濟(jì)預(yù)測。
在失業(yè)率預(yù)測方面,ChatGPT-4在模擬Powell的角色時(shí),預(yù)測結(jié)果與實(shí)際數(shù)據(jù)的吻合程度很高。
但整體預(yù)測準(zhǔn)確率沒有娛樂行業(yè)高,這說明,在處理與文化和娛樂相關(guān)的預(yù)測任務(wù)時(shí),ChatGPT能夠通過分析大量的訓(xùn)練數(shù)據(jù)和捕捉相關(guān)模式來做出精準(zhǔn)準(zhǔn)確的預(yù)測。
在更復(fù)雜、繁瑣的宏觀經(jīng)濟(jì)預(yù)測方面,ChatGPT雖然也表現(xiàn)出了很好的成績,但短期內(nèi)仍然無法替代人類的預(yù)測。
研究人員認(rèn)為,ChatGPT模型的預(yù)測能力在某些特定任務(wù)上可以媲美人類專家,尤其是在處理大量數(shù)據(jù)和模式識別方面。但在需要深入理解復(fù)雜經(jīng)濟(jì)機(jī)制和進(jìn)行精細(xì)調(diào)整的情況下,仍然無法比肩人類專家的直覺、經(jīng)驗(yàn)和對實(shí)時(shí)數(shù)據(jù)的敏感性。
此外,ChatGPT模型的預(yù)測能力也受限于其訓(xùn)練數(shù)據(jù)的截止日期和范圍,以及在生成預(yù)測時(shí)可能受到倫理和法律的限制。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國柏林國際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場的強(qiáng)大影響力。
近日,中國家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。