Ghostbuster：一個(gè)準(zhǔn)確度高的AI生成文本檢測(cè)工具

　　大語(yǔ)言模型如ChatGPT，以其卓越的寫作能力引發(fā)了問(wèn)題。學(xué)生們紛紛利用這些模型代寫作業(yè)，導(dǎo)致一些學(xué)校不得不采取禁止ChatGPT的措施。此外，這些模型還存在生成帶有事實(shí)錯(cuò)誤的文本的傾向，因此謹(jǐn)慎的讀者可能想知道，在信任某些新聞文章或其他來(lái)源之前，是否有生成式AI工具用于代寫。

　　針對(duì)這一問(wèn)題，研究人員提出了Ghostbuster這一先進(jìn)的AI生成文本檢測(cè)方法。該方法通過(guò)評(píng)估文檔中每個(gè)標(biāo)記在多個(gè)較弱的語(yǔ)言模型下生成的概率，然后將這些概率的函數(shù)作為最終分類器的輸入進(jìn)行組合。Ghostbuster無(wú)需知道生成文檔所使用的具體模型，也無(wú)需知道在該特定模型下生成文檔的概率。這使得Ghostbuster特別適用于檢測(cè)由未知模型或黑盒模型生成的文本，例如流行的商業(yè)模型ChatGPT和Claude，其概率不可用。研究人員著重確保Ghostbuster具有良好的泛化性能，因此他們?cè)诓煌�領(lǐng)域(使用新收集的散文、新聞和故事數(shù)據(jù)集)、語(yǔ)言模型或提示下進(jìn)行了評(píng)估。

　　為什么選擇這種方法呢?

　　當(dāng)前許多AI生成文本檢測(cè)系統(tǒng)對(duì)于分類不同類型的文本(例如不同的寫作風(fēng)格、或不同的文本生成模型或提示)往往表現(xiàn)脆弱。簡(jiǎn)單使用困惑度(perplexity)的模型通常無(wú)法捕捉更復(fù)雜的特征，在新的寫作領(lǐng)域表現(xiàn)尤為糟糕。與此相反，基于大型語(yǔ)言模型(如RoBERTa)的分類器雖然能輕松捕捉復(fù)雜特征，但容易對(duì)訓(xùn)練數(shù)據(jù)過(guò)擬合且泛化性能差。Ghostbuster的方法在這兩者之間取得了平衡，既能夠捕捉復(fù)雜特征，又不容易過(guò)擬合。

　　如何運(yùn)作

　　Ghostbuster 采用三階段訓(xùn)練過(guò)程:計(jì)算概率、選擇特征和分類器訓(xùn)練。

　　計(jì)算概率:通過(guò)計(jì)算在一系列較弱的語(yǔ)言模型(一個(gè)一元模型、一個(gè)三元模型和兩個(gè)非指令調(diào)整的 GPT-3模型)下生成文檔中每個(gè)單詞的概率，將每個(gè)文檔轉(zhuǎn)換為一系列向量、艾達(dá)和達(dá)芬奇)。

　　選擇特征:使用結(jié)構(gòu)化搜索過(guò)程來(lái)選擇特征，其工作原理是(1)定義一組組合概率的向量和標(biāo)量運(yùn)算，以及(2)使用前向特征選擇搜索這些操作的有用組合，重復(fù)添加最好的剩余特征。

　　分類器訓(xùn)練:根據(jù)最佳的基于概率的特征和一些額外的手動(dòng)選擇的特征訓(xùn)練了線性分類器。

　　Ghostbuster準(zhǔn)確率表現(xiàn)

　　在同一領(lǐng)域訓(xùn)練和測(cè)試時(shí)，Ghostbuster在所有三個(gè)數(shù)據(jù)集上取得了99.0的F1分?jǐn)?shù)，超過(guò)GPTZero5.9F1和DetectGPT41.6F1。在領(lǐng)域之外，Ghostbuster在所有條件下平均取得了97.0的F1，超過(guò)DetectGPT39.6F1和GPTZero7.5F1。與此相對(duì)，我們的RoBERTa基線在所有數(shù)據(jù)集的領(lǐng)域內(nèi)評(píng)估時(shí)取得了98.1的F1，但其泛化性能不一致。Ghostbuster在所有領(lǐng)域上的性能均優(yōu)于RoBERTa，僅在領(lǐng)域之外的創(chuàng)意寫作中稍遜一籌，但總體上比RoBERTa在領(lǐng)域之外的性能更好(13.8F1差距)。

　　為了確保Ghostbuster對(duì)用戶可能提示模型的各種方式的魯棒性，例如請(qǐng)求不同的寫作風(fēng)格或閱讀水平，研究人員評(píng)估了Ghostbuster對(duì)多個(gè)提示變體的魯棒性。Ghostbuster在這些提示變體上的性能優(yōu)于所有其他測(cè)試方法，達(dá)到99.5的F1。為了測(cè)試對(duì)模型的跨域泛化，研究人員在Claude生成的文本上評(píng)估了Ghostbuster的性能，結(jié)果Ghostbuster也在92.2的F1上超過(guò)了所有其他測(cè)試方法。

　　AI生成文本檢測(cè)器曾被輕微編輯生成的文本所欺騙。研究人員檢查了Ghostbuster對(duì)編輯的魯棒性，例如交換句子或段落，重新排列字符，或用同義詞替換單詞。大多數(shù)在句子或段落級(jí)別的更改并沒(méi)有顯著影響性能，盡管如果文本通過(guò)重復(fù)改寫，使用商業(yè)檢測(cè)規(guī)避器(如Undetectable AI)或進(jìn)行大量單詞或字符級(jí)別的更改，則性能會(huì)平穩(wěn)下降。性能在較長(zhǎng)的文檔上也表現(xiàn)最佳。

　　由于AI生成文本檢測(cè)器可能會(huì)將非母語(yǔ)英語(yǔ)的文本誤判為AI生成的文本，研究人員評(píng)估了Ghostbuster對(duì)非母語(yǔ)英語(yǔ)寫作的性能。所有測(cè)試模型在三個(gè)測(cè)試數(shù)據(jù)集中的兩個(gè)上都具有95%以上的準(zhǔn)確率，但在第三組較短的散文中表現(xiàn)較差。然而，文檔長(zhǎng)度可能是主要因素，因?yàn)镚hostbuster在這些文檔上的表現(xiàn)幾乎與其在其他長(zhǎng)度相似的領(lǐng)域之外文檔上的表現(xiàn)一樣好(74.7F1)，后者的F1在75.6到93.1之間。

　　希望將Ghostbuster應(yīng)用于潛在的文本生成的禁區(qū)使用的用戶應(yīng)該注意，對(duì)于較短的文本、遠(yuǎn)離Ghostbuster訓(xùn)練領(lǐng)域的領(lǐng)域(例如不同的英語(yǔ)變體)、非英語(yǔ)母語(yǔ)的文本、人工編輯的模型生成或通過(guò)提示AI模型修改人工創(chuàng)作的文本，錯(cuò)誤更有可能發(fā)生。為了避免延續(xù)算法傷害，我們強(qiáng)烈不建議在沒(méi)有人類監(jiān)督的情況下自動(dòng)懲罰所謂的文本生成使用。相反，我們建議在分類某人的寫作為AI生成可能會(huì)對(duì)其造成傷害時(shí)，謹(jǐn)慎使用Ghostbuster的人機(jī)協(xié)同使用。Ghostbuster還可以在一系列較低風(fēng)險(xiǎn)的應(yīng)用中發(fā)揮作用，包括從語(yǔ)言模型訓(xùn)練數(shù)據(jù)中過(guò)濾AI生成的文本，并檢查在線信息源是否為AI生成。

　　Ghostbuster是一種先進(jìn)的AI生成文本檢測(cè)模型，在測(cè)試的領(lǐng)域中取得了99.0的F1性能，相較現(xiàn)有模型取得了實(shí)質(zhì)性的進(jìn)展。它在不同領(lǐng)域、提示和模型上表現(xiàn)良好，對(duì)于識(shí)別來(lái)自黑盒或未知模型的文本非常合適，因?yàn)樗鼰o(wú)需訪問(wèn)生成文檔的具體模型的概率。

　　Ghostbuster未來(lái)的方向包括為模型決策提供解釋和提高對(duì)試圖欺騙檢測(cè)器的攻擊的魯棒性。AI生成文本檢測(cè)方法還可以與水印等替代方法一起使用。研究人員還希望Ghostbuster能在過(guò)濾語(yǔ)言模型訓(xùn)練數(shù)據(jù)或標(biāo)記網(wǎng)絡(luò)上的AI生成內(nèi)容等各種應(yīng)用中發(fā)揮作用。