MIT研究發(fā)現(xiàn):在AI的操縱下,人類會被植入虛假記憶!36.4%的參與者會被聊天機(jī)器人誤導(dǎo),形成「現(xiàn)場有槍」的錯(cuò)誤記憶。有趣的是,AI的阿諛奉承,會產(chǎn)生「回音室效應(yīng)」,讓偏見更加強(qiáng)化。
GenAI的影響,已經(jīng)不僅僅是搜索引擎、聊天機(jī)器人這么簡單了。
作為出名的效率神器,ChatGPT這樣的工具正在逐漸走進(jìn)各行各業(yè),比如幫警察寫文書、幫法官判案子,還有在Character.ai上扮演心理學(xué)家和人聊天。
以前,我們經(jīng)常聽到人類如何操縱AI,但MIT最近的研究發(fā)現(xiàn),AI也可以輕易操縱人類的記憶。
這項(xiàng)實(shí)驗(yàn)中,研究人員讓基于LLM的聊天機(jī)器人扮演審訊員或進(jìn)行盤問的出庭律師,讓200名參與者先觀看一段犯罪視頻,然后與AI進(jìn)行互動,回答有關(guān)問題,其中包含一部分誘導(dǎo)性提問。
結(jié)果顯示,與聊天機(jī)器人的互動顯著增加了錯(cuò)誤記憶的形成。
NYU教授馬庫斯稱,我們正在為聊天機(jī)器人制造商提供近乎瘋狂的權(quán)力,制衡機(jī)制幾乎為零
對于即時(shí)記憶,AI引發(fā)的錯(cuò)誤數(shù)量是對照組的三倍以上,36.4%的參與者會被聊天機(jī)器人誤導(dǎo)。
一周之后,讓參與者再次回憶時(shí),AI引發(fā)的錯(cuò)誤記憶數(shù)量保持不變,但他們對記憶的自信程度高于對照組。
更值得注意的是,那些熟悉AI但不太熟悉聊天機(jī)器人的參與者,甚至更容易被誤導(dǎo)。
這些發(fā)現(xiàn)表明,在警方采訪這種敏感且重要的場合,應(yīng)用AI可能會帶來一些意想不到的潛在風(fēng)險(xiǎn)。作者也更加強(qiáng)調(diào)了事先評估和道德考量的重要性。
實(shí)驗(yàn)所用的數(shù)據(jù)、代碼和相關(guān)材料已經(jīng)公布在GitHub倉庫中。
AI是如何「PUA」目擊者的?
錯(cuò)誤記憶被定義為「對未發(fā)生的事件或與實(shí)際發(fā)生的事件存在顯著偏差的回憶」。
這種現(xiàn)象之所以引起心理學(xué)界的廣泛關(guān)注和研究,是因?yàn)槟繐糇C人的錯(cuò)誤記憶很有可能扭曲證詞、損害法律程序,產(chǎn)生的錯(cuò)誤決策可能導(dǎo)致嚴(yán)重的后果。
而之前的研究者認(rèn)為,人類的記憶具有相當(dāng)程度的可塑性,是一個(gè)容易受到各種因素影響的重建過程。
下面這張圖,就展示了AI誘導(dǎo)錯(cuò)誤記憶的三個(gè)階段。
首先,一個(gè)人目擊了涉及刀具的犯罪現(xiàn)場。
接著,AI系統(tǒng)通過詢問一個(gè)不存在的槍支,來引入錯(cuò)誤信息。
最后,目擊者就形成了一個(gè)錯(cuò)誤記憶——現(xiàn)場有槍。
這樣,AI通過引導(dǎo)性的問題,扭曲了目擊者的記憶,讓他的證詞不再可靠,
顯然,AI會對人類的記憶和認(rèn)知,帶來嚴(yán)重的倫理問題。
實(shí)驗(yàn)設(shè)計(jì)
該項(xiàng)研究模擬了一個(gè)證人場景,其中基于LLM的對話式AI系統(tǒng)充當(dāng)審訊者。
200名參與者需要先觀看一段持續(xù)兩分半的無聲、不可暫停的監(jiān)控視頻,該視頻記錄了2019年4月發(fā)生的一起真實(shí)的超市搶劫案(圖3左)。
之后,參與者被隨機(jī)分配到條件不同的4組,完成情緒評估,并回答有關(guān)視頻內(nèi)容的問題。
實(shí)驗(yàn)設(shè)置的4個(gè)對比條件包括:
對照組:作為基線對照,參與者不與可能誘導(dǎo)錯(cuò)誤記憶的方法交互,觀看視頻后直接回答問題
基于調(diào)查的條件組:參與者觀看視頻后需要先填寫25個(gè)問題組成的調(diào)查問卷,其中包含5個(gè)誤導(dǎo)性問題,旨在誘發(fā)與視頻內(nèi)容相關(guān)的錯(cuò)誤記憶,是研究的重點(diǎn)。
預(yù)先編寫腳本的聊天機(jī)器人條件組:參與者被告知他們正在與聊天機(jī)器人扮演的AI警察進(jìn)行交互,但對話內(nèi)容是預(yù)先編寫好的。對話Agent提出的問題與第二組相同,等待參與者答復(fù)后繼續(xù)處理下一個(gè)問題。
生成聊天機(jī)器人條件組:參與者依舊被告知他們正在與AI交互,但與上一組不同的是,聊天機(jī)器人會為參與者的回答提供反饋,交互界面如圖3(右)所示。
在用戶和聊天機(jī)器人交互時(shí),即使回答包含了虛假的信息或細(xì)節(jié),聊天機(jī)器人也會積極肯定甚至表揚(yáng),并詳細(xì)復(fù)述一遍錯(cuò)誤信息。
5個(gè)誘導(dǎo)性問題
這4種設(shè)置中,對錯(cuò)誤記憶的引導(dǎo)程度逐步增加。
從沒有任何干預(yù)的對照組,到被動的引導(dǎo)方法(調(diào)查),再到更具交互性的方法(預(yù)先編寫腳本的聊天機(jī)器人),最終形成動態(tài)的、能感知上下文的生成式聊天機(jī)器人。這種設(shè)計(jì)能夠隔離和比較每種交互方法對錯(cuò)誤記憶形成的影響。
4種不同形式的互動結(jié)束后,參與者會回答25個(gè)后續(xù)問題(表3),旨在衡量他們對視頻內(nèi)容的記憶,并評估錯(cuò)誤記憶的形成情況。
這25個(gè)問題基本涵蓋了整個(gè)案件的全過程,參與者可以根據(jù)對自己記憶的自信程度給出1~7分的答案,其中1分表示絕對否定,7分表示絕對肯定。
一周后,進(jìn)行實(shí)驗(yàn)的第二階段,旨在評估被誘發(fā)的錯(cuò)誤記憶的持久性。
這一階段也是對現(xiàn)實(shí)情況的模仿,因?yàn)槟繐粽呖赡茉谝欢螘r(shí)間后再次受到詢問。整體的實(shí)驗(yàn)流程如圖2所示。
實(shí)驗(yàn)結(jié)果:AI交互誘導(dǎo)更多錯(cuò)誤記憶
結(jié)果表明,與其他干預(yù)措施相比,與生成聊天機(jī)器人的短期交互會顯著誘發(fā)更多的錯(cuò)誤記憶,即使這些交互只有10到20分鐘。
而且,用戶還會對這些錯(cuò)誤記憶信心大增。
基于調(diào)查的干預(yù),會產(chǎn)生常見的錯(cuò)誤信息效應(yīng),有21.6%的參與者,會在互動中被誤導(dǎo)。
而且,不太熟悉聊天機(jī)器人但更熟悉人工智能技術(shù)的用戶,以及對犯罪調(diào)查更感興趣的用戶,更容易產(chǎn)生錯(cuò)誤記憶。
較為奇特的是,即使過了一周,聊天機(jī)器人誘導(dǎo)的錯(cuò)誤記憶數(shù)量也沒有發(fā)生改變,相比之下,其他三組都有提高,尤其是對照組的提升幅度最大。
一周后,生成聊天機(jī)器人組的參與者仍然對錯(cuò)誤記憶更加自信,顯著高于對照組和其他組別。
(左)即時(shí)和一周后之間的錯(cuò)誤記憶數(shù)量差異,使用Wilcoxon符號秩檢驗(yàn)進(jìn)行分析;(右)一周后錯(cuò)誤記憶的信心水平,使用單因素Kruskal–Wallis檢驗(yàn)進(jìn)行分析(誤差條表示95%置信區(qū)間,誤差條中心表示平均數(shù)量)
結(jié)論
這項(xiàng)研究與早前針對「誤導(dǎo)性問題對錯(cuò)誤記憶形成的影響」的研究結(jié)論一致,21.6%的用戶出現(xiàn)及時(shí)錯(cuò)誤記憶,一周后增長至29.2%。
這也再一次證實(shí)了,誤導(dǎo)性問題會顯著增加參與者的即時(shí)錯(cuò)誤記憶。
但本項(xiàng)研究更創(chuàng)新的貢獻(xiàn)在于,揭示了生成式聊天機(jī)器人在誘導(dǎo)錯(cuò)誤記憶方面更嚴(yán)重的風(fēng)險(xiǎn)。
與AI交互后,引起的錯(cuò)誤記憶數(shù)量幾乎是對照組的三倍,是基于調(diào)查的條件組的1.7倍,且一周后依然有36.8%的用戶被誤導(dǎo)產(chǎn)生錯(cuò)誤記憶。
這些顯著差異證實(shí)了先前的假設(shè):生成式聊天機(jī)器人 (36.4%) 比傳統(tǒng)的基于調(diào)查問卷 (21.6%) 的干預(yù)組,更能有效地誘導(dǎo)受試者產(chǎn)生錯(cuò)誤記憶。
此外,第二個(gè)假設(shè)也被證實(shí),即相較于預(yù)先編寫的對話(26.8%),能交互的生成式聊天機(jī)器人會產(chǎn)生更多的錯(cuò)誤記憶。
可見,人機(jī)交互會對記憶可塑性產(chǎn)生巨大的影響。
這項(xiàng)研究也警醒我們:在敏感環(huán)境中部署AI時(shí),需要格外謹(jǐn)慎。
原因分析
上述這些現(xiàn)象背后蘊(yùn)含多種復(fù)雜因素。
首先,聊天機(jī)器人的交互屬性為受試者提供了更具吸引力和個(gè)性化的體驗(yàn),會增加他們在對話中的注意力和情感投入度 。
這會促使他們加重對被建議的誤導(dǎo)信息的關(guān)注,導(dǎo)致預(yù)先編寫的和生成式聊天機(jī)器人的引發(fā)的錯(cuò)誤記憶顯著增加。
其次,生成式聊天機(jī)器人下能為參與者提供即時(shí)的反饋和回復(fù)強(qiáng)化,如通過產(chǎn)生「確認(rèn)偏誤」來強(qiáng)化錯(cuò)誤記憶的形成 。
此外,社會因素,如AI的感知權(quán)威或可信度,以及它們個(gè)性化的交互能力,都會影響記憶的形成。
有趣的是,與對照組相比,所有干預(yù)條件(生成式、預(yù)先編寫的和基于調(diào)查的聊天機(jī)器人)都顯著增加了參與者對即時(shí)錯(cuò)誤記憶的確信程度。
其中,生成聊天機(jī)器人條件產(chǎn)生了最高的置信水平,大約是控制條件的兩倍。
這種信心的增加,可能是由于聊天機(jī)器人能夠提供詳細(xì)且與上下文相關(guān)的反饋,從而為參與者的記憶創(chuàng)造了一種錯(cuò)誤的佐證感。
另外,這個(gè)過程中的一個(gè)關(guān)鍵因素就是阿諛奉承——人工智能系統(tǒng)傾向于提供符合用戶信念而不是客觀事實(shí)的響應(yīng) 。
諂媚的人工智能反應(yīng)會產(chǎn)生危險(xiǎn)的「回音室效應(yīng)」,讓用戶現(xiàn)有的偏見或誤解得到驗(yàn)證和強(qiáng)化。
用戶期望和人工智能響應(yīng)之間的這種反饋循環(huán),可能會導(dǎo)致錯(cuò)誤記憶的根深蒂固,使它們特別難以糾正。
即使在一周之后,人們?nèi)匀粚ι闪奶鞕C(jī)器人條件下的錯(cuò)誤記憶保持較高的信心,這一點(diǎn)尤其令人擔(dān)憂。
這一發(fā)現(xiàn)表明,人工智能引起的錯(cuò)誤記憶不僅會持續(xù)存在,而且會隨著時(shí)間的推移保持其感知的可信度。
會產(chǎn)生嚴(yán)重后果,但對PTSD也有積極意義
由此我們可知,在法律訴訟、臨床環(huán)境和教育環(huán)境這些對記憶準(zhǔn)確性至關(guān)重要的環(huán)境中,使用AI要尤其謹(jǐn)慎。
如果在沒有適當(dāng)保障措施的情況下部署,可能會引發(fā)嚴(yán)重后果。
而且,多模態(tài)AI系統(tǒng)可不僅能生成文本,還能生成圖像、視頻和語音。
這些模態(tài)無異會創(chuàng)造更身臨其境的多感官體驗(yàn),后者無疑更有可能會作為真實(shí)體驗(yàn),融入個(gè)人的記憶中。
因此,它們會對錯(cuò)誤記憶的形成,產(chǎn)生更深遠(yuǎn)的影響。
當(dāng)然,AI系統(tǒng)塑造人類記憶的這種能力,也為有益的應(yīng)用開辟了潛在的途徑。
如果用聊天機(jī)器人誘發(fā)積極的錯(cuò)誤記憶,或者幫助減少消極的記憶,對于患有PTSD的人無疑會有積極的意義。
作者介紹
Samantha Chan
Samantha Chan是麻省理工學(xué)院媒體實(shí)驗(yàn)室流體界面小組的博士后研究員。在空閑時(shí)間,她喜歡彈尤克里里和旅行。
她擁有新加坡科技設(shè)計(jì)大學(xué)的工程學(xué)士學(xué)位(產(chǎn)品開發(fā)、電氣工程)和新西蘭奧克蘭大學(xué)的生物工程博士學(xué)位。并曾在增強(qiáng)人類實(shí)驗(yàn)室工作,是新加坡國立大學(xué)HCI實(shí)驗(yàn)室的訪問研究員,以及Mercari R4D的初級研究員。
她的研究領(lǐng)域是人機(jī)交互(HCI)和人工智能,主要開發(fā)移動和可穿戴系統(tǒng)、生理感應(yīng)和腦機(jī)接口,以及擴(kuò)展現(xiàn)實(shí)(XR)界面,特別是為了支持老年人和健康老齡化。研究經(jīng)驗(yàn)包括機(jī)器人技術(shù)、共同設(shè)計(jì)和個(gè)人制造。
在記憶增強(qiáng)界面方面的工作已發(fā)表在頂級HCI期刊和會議上,如CHI、IMWUT/Ubicomp、CSCW和ISMAR。
她將在2025年1月加入新加坡南洋理工大學(xué)(NTU)計(jì)算與數(shù)據(jù)科學(xué)學(xué)院,擔(dān)任助理教授。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。