UC伯克利研究人員推出Ghostbuster:用于檢測 LLM 生成文本的最先進(jìn) AI 方法

　　LLM，如 ChatGPT，可以輕松地產(chǎn)生各種流利的文本，但是它們的準(zhǔn)確性有多高呢?語言模型容易產(chǎn)生事實(shí)錯(cuò)誤和幻覺，這讓讀者在決定是否相信一個(gè)信息來源時(shí)知道是否使用了這些工具來做新聞文章或其他信息文本的幽靈寫作。這些模型的發(fā)展也引發(fā)了對文本的真實(shí)性和原創(chuàng)性的擔(dān)憂，許多教育機(jī)構(gòu)也限制了 ChatGPT 的使用，因?yàn)閮?nèi)容很容易生成。

　　目前存在許多用于檢測 LLM 是否生成內(nèi)容的框架，如 DetectGPT 和 GPTZero。然而，這些框架在原本未經(jīng)評估的數(shù)據(jù)集上的性能有所下降。

　　近日，加利福尼亞大學(xué)伯克利分校的研究人員推出了一種名為Ghostbuster的先進(jìn)人工智能方法，旨在檢測大型語言模型(LLM)生成的文本。這一方法基于結(jié)構(gòu)化搜索和線性分類，通過三個(gè)階段的訓(xùn)練過程，名為概率計(jì)算、特征選擇和分類器訓(xùn)練，取得了顯著的性能提升。

　　Ghostbuster首先將每個(gè)文檔轉(zhuǎn)換為一系列向量，通過在一系列語言模型下計(jì)算每個(gè)令牌的概率來實(shí)現(xiàn)。接下來，它通過在向量和標(biāo)量函數(shù)空間上運(yùn)行結(jié)構(gòu)化搜索過程，選擇特征。這些特征通過定義一組操作，將這些概率結(jié)合起來，并運(yùn)行前向特征選擇。最后，Ghostbuster在最佳的基于概率的特征和一些額外手動(dòng)選擇的特征上訓(xùn)練一個(gè)簡單的分類器。

　　Ghostbuster的分類器是根據(jù)通過結(jié)構(gòu)化搜索選擇的基于概率的特征和基于詞長和最大令牌概率的七個(gè)額外特征的組合進(jìn)行訓(xùn)練的。這些其他特征旨在包含觀察到的關(guān)于人工智能生成文本的定性啟發(fā)。

　　在性能方面，Ghostbuster在訓(xùn)練和測試數(shù)據(jù)集相似性方面表現(xiàn)穩(wěn)健。在所有條件下，Ghostbuster的F1分?jǐn)?shù)平均達(dá)到97.0，比DetectGPT高出39.6，比GPTZero高出7.5。

　　Ghostbuster 在除創(chuàng)意寫作領(lǐng)域以外的所有領(lǐng)域中優(yōu)于 RoBERTa 基線，而 RoBERTa 的越域表現(xiàn)要差得多。F1分?jǐn)?shù)是一種常用的衡量分類模型性能的指標(biāo)。它將精確度和召回率結(jié)合成一個(gè)單一的值，特別適用于處理不平衡的數(shù)據(jù)集。

　　Ghostbuster的出現(xiàn)填補(bǔ)了在非原始評估數(shù)據(jù)集上性能不佳的檢測框架的空白，為更可靠地判斷LLM生成文本的真實(shí)性提供了新的工具。這對于那些依賴于AI生成內(nèi)容做出決策的用戶來說，具有重要的意義。