如果科技行業(yè)的頂尖人工智能模型有所區(qū)別的話,微軟支持的 OpenAI 的 GPT-4 在數(shù)學(xué)方面表現(xiàn)最好,Meta 的 Llama 2 則在中間位置,Anthropic 的 Claude 2 在了解自己的限制方面表現(xiàn)最好,而 Cohere AI 則被賦予了最多的幻覺(jué)和最自信的錯(cuò)誤答案的稱號(hào)。
這份周四來(lái)自 Arthur AI 研究人員的報(bào)告指出這一切。Arthur AI 是一家機(jī)器學(xué)習(xí)監(jiān)測(cè)平臺(tái)。
這項(xiàng)研究是在人工智能系統(tǒng)產(chǎn)生誤導(dǎo)信息的問(wèn)題愈發(fā)引起爭(zhēng)議之際進(jìn)行的,與此同時(shí),生成式人工智能正迎來(lái)了繁榮期。
Arthur AI 的聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Adam Wenchel 表示,這是第一個(gè)「全面考察幻覺(jué)率」的報(bào)告,而非僅僅提供「一個(gè)數(shù)字來(lái)衡量它們?cè)?LLM 排行榜上的位置」。
當(dāng)大型語(yǔ)言模型(LLMs)完全捏造信息、表現(xiàn)得像在說(shuō)真實(shí)事實(shí)時(shí),就會(huì)出現(xiàn) AI 幻覺(jué)。例如,在 6 月份的一例中,有人發(fā)現(xiàn) ChatGPT 在紐約聯(lián)邦法院的一份文件中引用了「虛假」的案例,涉案的紐約律師可能面臨制裁。
在一個(gè)實(shí)驗(yàn)中,Arthur AI 的研究人員在組合數(shù)學(xué)、美國(guó)總統(tǒng)和摩洛哥政治領(lǐng)導(dǎo)人等類別中測(cè)試了這些 AI 模型,并提出了一些「設(shè)計(jì)來(lái)使 LLMs 犯錯(cuò)的關(guān)鍵元素,需要多個(gè)步驟來(lái)推理信息」的問(wèn)題,研究人員寫道。
總體而言,OpenAI 的 GPT-4 在所有測(cè)試的模型中表現(xiàn)最好,研究人員發(fā)現(xiàn)它的幻覺(jué)現(xiàn)象比之前的版本 GPT-3.5 要少,例如,在數(shù)學(xué)問(wèn)題上,它的幻覺(jué)現(xiàn)象減少了 33% 至 50%,具體取決于類別。
另一方面,研究人員發(fā)現(xiàn),Meta 的 Llama 2 比 GPT-4 和 Anthropic 的 Claude 2 更容易產(chǎn)生幻覺(jué)。
在數(shù)學(xué)類別中,GPT-4 排名第一,Claude 2 緊隨其后,但在美國(guó)總統(tǒng)類別的測(cè)試中,Claude 2 以準(zhǔn)確率位居第一,擠下了 GPT-4,成為第二名。當(dāng)被問(wèn)到摩洛哥政治問(wèn)題時(shí),GPT-4 再次排名第一,而 Claude 2 和 Llama 2 則幾乎選擇不回答。
在第二個(gè)實(shí)驗(yàn)中,研究人員測(cè)試了這些 AI 模型在回答問(wèn)題時(shí)是否會(huì)使用警示語(yǔ)來(lái)避免風(fēng)險(xiǎn)(比如:作為一個(gè) AI 模型,我不能提供意見)。
在使用警示語(yǔ)方面,與 GPT-3.5 相比,GPT-4 有了 50% 的相對(duì)增長(zhǎng),研究人員寫道:「這從用戶的個(gè)別證據(jù)中量化了 GPT-4 的使用更加令人沮喪」,然而,根據(jù)報(bào)告,Cohere 的 AI 模型在任何回答中都沒(méi)有使用警示語(yǔ)。研究顯示,Claude 2 在「自我意識(shí)」方面最可靠,即準(zhǔn)確評(píng)估自身所知與所不知,并且只回答具備支持性數(shù)據(jù)的問(wèn)題。
Cohere 的一位發(fā)言人對(duì)這些結(jié)果提出了異議,稱「Cohere 的檢索自動(dòng)生成技術(shù)未被測(cè)試,它對(duì)于給企業(yè)提供可驗(yàn)證的引用文獻(xiàn)以確認(rèn)信息來(lái)源非常有效」。
Wenchel 表示,用戶和企業(yè)最重要的結(jié)論是「根據(jù)實(shí)際工作負(fù)載進(jìn)行測(cè)試」,他隨后補(bǔ)充道:「重要的是要了解它在你試圖實(shí)現(xiàn)的任務(wù)上的性能」。
Wenchel 說(shuō):「很多基準(zhǔn)測(cè)試僅僅關(guān)注 LLM 本身的某種衡量標(biāo)準(zhǔn),但實(shí)際上在真實(shí)世界中并不是這樣使用的。確保你真正了解 LLM 在實(shí)際應(yīng)用中的表現(xiàn)是關(guān)鍵。」
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會(huì)上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽(yáng)成功舉辦。