研究發(fā)現(xiàn)，GPT-4可信度更高但也更易被“欺騙”

　　根據(jù)微軟支持的研究發(fā)現(xiàn)，OpenAI的GPT-4語言模型被認為在可信度上比其前身GPT-3.5更勝一籌，但也更容易受到入侵和偏見的影響。

　　研究團隊包括來自伊利諾伊大學厄巴納-香檳分校、斯坦福大學、加州大學伯克利分校、人工智能安全中心以及微軟研究機構(gòu)的研究人員。他們給予GPT-4更高的可信度評分，這意味著他們發(fā)現(xiàn)該模型通常更擅長保護私人信息，避免產(chǎn)生有偏見的有毒結(jié)果，并抵抗對抗性攻擊。

　　然而，研究也發(fā)現(xiàn)用戶可以要求GPT-4忽略安全措施，導(dǎo)致泄漏個人信息和對話歷史。研究人員發(fā)現(xiàn)，由于該模型“更精確地遵循誤導(dǎo)信息”，它更有可能嚴格按照棘手的提示執(zhí)行。

　　研究團隊表示，盡管存在這些漏洞，但這些問題并未在面向消費者的GPT-4產(chǎn)品中出現(xiàn)，因為“成熟的AI應(yīng)用程序采用一系列緩解措施，以解決可能在技術(shù)模型層面發(fā)生的潛在危害”。

　　為了衡量可信度，研究人員在多個類別中測量了結(jié)果，包括毒性、刻板印象、隱私、機器倫理、公平性和抵抗對抗性測試的強度。為了測試這些類別，研究人員首先使用標準提示測試了GPT-3.5和GPT-4，其中包括可能已被禁止的詞匯。接下來，研究人員使用設(shè)計用于推動模型打破其內(nèi)容政策限制的提示，而不公然對特定群體持有偏見，最后挑戰(zhàn)模型，故意嘗試欺騙它們以忽略安全措施。

　　研究人員表示他們已將這項研究與OpenAI團隊分享。“我們的目標是鼓勵研究社區(qū)的其他人利用并建立在這項工作的基礎(chǔ)上，可能在惡意行動之前采取措施，以利用漏洞造成傷害的對手，”研究團隊表示。“這種可信度評估只是一個起點，我們希望與其他人合作，進一步完善研究結(jié)果，并創(chuàng)建更強大和可信賴的模型。”

　　研究人員發(fā)布了他們的基準，以便其他人可以重現(xiàn)他們的發(fā)現(xiàn)。像GPT-4這樣的AI模型通常會經(jīng)歷“紅隊”測試，其中開發(fā)人員測試多個提示，以查看它們是否會產(chǎn)生不希望的結(jié)果。當該模型首次推出時，OpenAI首席執(zhí)行官薩姆·阿爾特曼承認GPT-4“仍然存在缺陷，仍然有限”。

　　美國聯(lián)邦貿(mào)易委員會(FTC)已經(jīng)開始調(diào)查OpenAI是否存在可能對消費者造成傷害的行為，例如發(fā)布虛假信息。