可識(shí)別 AI 生成的科學(xué)文本的新型檢測(cè)工具問(wèn)世

　　今年早些時(shí)候美國(guó)田納西州健康科學(xué)中心的放射學(xué)家 Som Biswas 引起關(guān)注，因?yàn)樗�在《放射學(xué)》雜志上發(fā)表了一篇由人工智能聊天機(jī)器人 ChatGPT 協(xié)助寫(xiě)作的文章，題為《ChatGPT 與醫(yī)學(xué)寫(xiě)作的未來(lái)》。他表示，他使用并編輯了 ChatGPT 生成的文本，目的是提高人們對(duì)該技術(shù)的實(shí)用性的認(rèn)識(shí)。他還透露，之后他又在四個(gè)月內(nèi)利用 ChatGPT 發(fā)表了 16 篇期刊文章。有些期刊編輯也反映，他們收到了大量使用 ChatGPT 寫(xiě)作的文章。

　　為了應(yīng)對(duì)這種情況，堪薩斯大學(xué)的化學(xué)教授 Heather Desaire 和她的團(tuán)隊(duì)開(kāi)發(fā)了一種新的 AI 檢測(cè)工具，可以高效準(zhǔn)確地區(qū)分科學(xué)文本是由人類還是 ChatGPT 生成的，他們的研究結(jié)果發(fā)表在《細(xì)胞報(bào)告物理科學(xué)》雜志上。

　　Desaire 教授說(shuō)，她和她的團(tuán)隊(duì)首先分析了 64 篇《科學(xué)》雜志上的“觀點(diǎn)”文章，這些文章是對(duì)當(dāng)前研究進(jìn)行評(píng)論和評(píng)價(jià)的綜述性文章。然后，他們又分析了 128 篇由 ChatGPT 生成的關(guān)于同樣研究主題的文章。通過(guò)比較兩者，他們找出了 20 個(gè)特征，可以幫助判斷科學(xué)文本的作者身份。

　　他們發(fā)現(xiàn)，人類科學(xué)家和 ChatGPT 在段落復(fù)雜度、句子長(zhǎng)度、標(biāo)點(diǎn)符號(hào)和詞匯使用等方面有明顯不同。例如，人類科學(xué)家更傾向于使用括號(hào)、破折號(hào)、問(wèn)號(hào)、分號(hào)和大寫(xiě)字母，而 ChatGPT 則不常用。人類科學(xué)家也更喜歡使用“模棱兩可的語(yǔ)言”，如“然而”、“盡管”、“但是”等。此外，人類科學(xué)家寫(xiě)作時(shí)既有很短的句子，也有很長(zhǎng)的句子，而 ChatGPT 則比較平均。

　　基于這 20 個(gè)特征，他們使用了一種現(xiàn)成的機(jī)器學(xué)習(xí)算法 XGBoost 來(lái)訓(xùn)練他們的 AI 檢測(cè)工具，他們測(cè)試了他們的 AI 檢測(cè)工具在 180 篇文章上的表現(xiàn)，發(fā)現(xiàn)其非常擅長(zhǎng)判斷一篇科學(xué)文章是由人類還是 ChatGPT 寫(xiě)作的。“這種方法有超過(guò) 99% 的準(zhǔn)確率”，Desaire 教授說(shuō)，并補(bǔ)充說(shuō)這比現(xiàn)有的工具要好得多，因?yàn)楝F(xiàn)有的工具是在更廣泛的文本類型上進(jìn)行訓(xùn)練的，而不是專門針對(duì)科學(xué)文本的。

　　Desaire 教授說(shuō)，這種 AI 檢測(cè)工具可以幫助期刊編輯處理大量使用 ChatGPT 寫(xiě)作的文章，可以讓他們優(yōu)先考慮哪些文章值得送審。她還說(shuō)，這種工具可以根據(jù)不同的領(lǐng)域進(jìn)行調(diào)整，比如用來(lái)檢測(cè)學(xué)生的剽竊行為，只要在適合的語(yǔ)言上進(jìn)行訓(xùn)練就行。“你可以把它改造用于你想要的任何領(lǐng)域，只要想好哪些特征是有用的。”

　　然而IT之家注意到，并非所有人都認(rèn)為這種 AI 檢測(cè)工具有多大用處。南澳大利亞大學(xué)變化與復(fù)雜性學(xué)習(xí)中心(C3L)的 Vitomir Kovanović博士說(shuō)，Desaire 教授和她的團(tuán)隊(duì)所做的比較是不現(xiàn)實(shí)的，因?yàn)樗麄冎槐容^了 100% 由 AI 生成和 100% 由人類生成的文本，而沒(méi)有考慮到人類和 AI 之間的協(xié)作。他說(shuō)，當(dāng)科學(xué)家使用 ChatGPT 時(shí)，往往會(huì)有一定程度的人機(jī)合作，比如科學(xué)家會(huì)編輯 AI 生成的文本。這也是必要的，因?yàn)?ChatGPT 有時(shí)會(huì)出錯(cuò)，甚至?xí)�生成虛�?gòu)的參考文獻(xiàn)。但是由于研究者只比較了兩種極端情況，他們的成功率就被提高了。

　　阿德萊德大學(xué)機(jī)器學(xué)習(xí)研究所的 Lingqiao Liu 博士也認(rèn)為，在真實(shí)世界中，這種 AI 檢測(cè)工具的準(zhǔn)確率可能會(huì)降低，導(dǎo)致更多的錯(cuò)誤分類。Liu 博士是一位開(kāi)發(fā)算法來(lái)檢測(cè) AI 生成圖像的專家，他說(shuō)：“從方法論上講，這沒(méi)問(wèn)題，但使用它有一定風(fēng)險(xiǎn)。”

　　另一方面，Liu 博士指出，人們也有可能指示 ChatGPT 以特定的方式寫(xiě)作，從而讓 100% 由 AI 寫(xiě)作的文本通過(guò)檢測(cè)。事實(shí)上，一些評(píng)論員甚至談到了一個(gè)“軍備競(jìng)賽”，指的是那些試圖讓機(jī)器更像人類和那些試圖揭露那些出于惡意目的使用這項(xiàng)技術(shù)的人之間的競(jìng)爭(zhēng)。

　　Kovanović博士認(rèn)為這是“沒(méi)有意義的競(jìng)賽”，因?yàn)檫@項(xiàng)技術(shù)有著強(qiáng)大的發(fā)展勢(shì)頭和潛在的積極影響。他說(shuō)，AI 檢測(cè)“沒(méi)有抓住重點(diǎn)，我認(rèn)為我們最好把精力投入到如何有效地使用 AI 上。”他還反對(duì)使用反剽竊軟件來(lái)評(píng)估大學(xué)生是否使用了 AI 寫(xiě)作，并稱這給學(xué)生造成了不必要的壓力。