OpenAI下架AI文本檢測(cè)器，用AI檢測(cè)AI宣告失敗

　　本文來(lái)自微信公眾號(hào)“三易生活”(ID:IT-3eLife)，作者:三易菌。

　　“既是天使、也是魔鬼”，或許是如今對(duì)AI最為精確的一句描述。如今再度走紅的AI在幫助人類社會(huì)實(shí)現(xiàn)效率革命的同時(shí)，同樣也帶來(lái)AI新聞造假的泛濫以及愈演愈烈的AI騙局，因此監(jiān)管AI就成為了當(dāng)下科技界一個(gè)重要的議題。然而面對(duì)可以稱得上是日新月異的AI技術(shù)迭代速度，針對(duì)其可能衍生出諸多危險(xiǎn)結(jié)果的思潮也開始高漲。

　　面對(duì)這一問(wèn)題，作為當(dāng)下AI技術(shù)先驅(qū)的OpenAI站了出來(lái)。該公司創(chuàng)始人薩姆·奧特曼自今年年初開始就頻頻“走穴”，出席從學(xué)術(shù)界到工業(yè)界，再到監(jiān)管層面圍繞AI的相關(guān)討論，更是主動(dòng)提出了監(jiān)管方案，并希望監(jiān)管部門早日考慮立法。同時(shí)OpenAI也沒(méi)忘記嘗試從技術(shù)層面來(lái)約束AI，并在今年2月推出了一款試圖區(qū)分人工編寫文本和AI生成文本的檢測(cè)工具。

　　這款工具名為AI文本檢測(cè)器(AI Text Classifier)，也曾被OpenAI方面認(rèn)為有助于防止AI文本生成器被濫用，但在經(jīng)過(guò)了數(shù)月的實(shí)踐后，OpenAI在數(shù)天前悄然下線了AI文本檢測(cè)器。根據(jù)OpenAI的說(shuō)法，下架這款工具是因?yàn)闄z測(cè)準(zhǔn)確率過(guò)低，但“會(huì)繼續(xù)研究更有效的相關(guān)技術(shù)”。所以簡(jiǎn)而言之，就是OpenAI此前希望用AI來(lái)監(jiān)管AI的嘗試似乎已經(jīng)落空了。

　　此前OpenAI在推出這款A(yù)I文本檢測(cè)器時(shí)，其實(shí)外界的期待值曾頗高，并希望它能夠與ChatGPT上演一出“貓鼠游戲”。而這款公布的使用也一點(diǎn)都不復(fù)雜，在檢測(cè)過(guò)程中用戶只要將需要檢測(cè)的文本復(fù)制到檢測(cè)器上，就可以檢查內(nèi)容是否為AI生成，而且也不限定文本內(nèi)容的種類。

　　如果說(shuō)在面對(duì)海量的信息時(shí)，人工監(jiān)管幾乎不現(xiàn)實(shí)，那么用AI相關(guān)技術(shù)來(lái)監(jiān)測(cè)內(nèi)容或許才是更具現(xiàn)實(shí)意義的操作。然而遺憾的是，AI文本檢測(cè)器的效果甚至連差強(qiáng)人意可能都稱不上。據(jù)OpenAI方面公布的相關(guān)數(shù)據(jù)顯示，AI檢測(cè)器在識(shí)別AI生成文本方面的正確率僅為26%，同時(shí)將人類所寫內(nèi)容識(shí)別為AI生成的錯(cuò)誤率則達(dá)到了9%。

　　實(shí)際上，用戶體感可能還遠(yuǎn)低于這一數(shù)字。有研究人員就曾使用一本在數(shù)年前就已出版書籍中的片段進(jìn)行了測(cè)試，結(jié)果AI文本檢測(cè)器顯示，不清楚這本書的序言是否由AI撰寫，但前言“或許(Possibly)是人工智能生成，第一章的一段是“可能是(Likely)”人工智能寫的。

　　更有甚者，還有人曾將莎士比亞的《麥克白》放上去進(jìn)行檢測(cè)，結(jié)果的反饋卻是，“The classifier considers the text to be likelyAI-generated”。即這款A(yù)I檢測(cè)器認(rèn)為，《麥克白》可能是AI寫的。

　　事實(shí)上，不僅僅是OpenAI在嘗試以AI來(lái)制衡AI，如今有相當(dāng)多的機(jī)構(gòu)或研究人員正走在這條路上，但截至目前無(wú)一例外都沒(méi)有商業(yè)化的價(jià)值。

　　雖然OpenAI方面目前并未公布AI文本檢測(cè)器的技術(shù)原理，但從其所要實(shí)現(xiàn)的目的來(lái)看，大概率是使用監(jiān)督學(xué)習(xí)的方法。監(jiān)督學(xué)習(xí)其實(shí)是機(jī)器學(xué)習(xí)中的一種訓(xùn)練方式，是指利用一組已知類別的樣本調(diào)整分類器的參數(shù)，使得其達(dá)到所要求性能的過(guò)程。在這里，訓(xùn)練數(shù)據(jù)成為輸入數(shù)據(jù)，分類則成為標(biāo)簽數(shù)據(jù)。

　　簡(jiǎn)單來(lái)說(shuō)，盡管本不知道A和B能得倒一個(gè)什么樣的關(guān)系，但是通過(guò)很多個(gè)A和B、且已知AB關(guān)系的數(shù)據(jù)可以得知，他們存在一種函數(shù)式關(guān)系f(A，B)，并且在后續(xù)可以通過(guò)f(A，B)來(lái)得到一個(gè)符合實(shí)際規(guī)律(相對(duì)準(zhǔn)確)的結(jié)果。眾所周知，ChatGPT訓(xùn)練中很重要的一步是RLHF， 即有人類反饋的增強(qiáng)學(xué)習(xí)，這其實(shí)就是非常典型的監(jiān)督學(xué)習(xí)。

　　作為一個(gè)AI領(lǐng)域經(jīng)典的方法論，監(jiān)督學(xué)習(xí)技術(shù)自然也有已經(jīng)被發(fā)現(xiàn)的缺陷。其一，監(jiān)督學(xué)習(xí)的一個(gè)重要前提，是需要大量的標(biāo)注數(shù)據(jù)，并且標(biāo)注數(shù)據(jù)的質(zhì)量對(duì)模型性能有著直接的影響，不準(zhǔn)確或不完整的標(biāo)注數(shù)據(jù)可能會(huì)導(dǎo)致模型的錯(cuò)誤預(yù)測(cè)。其二，在實(shí)際應(yīng)用中，不同類別的樣本數(shù)量可能存在嚴(yán)重的不平衡，即某些類別的樣本數(shù)量遠(yuǎn)遠(yuǎn)少于其他類別。這就會(huì)導(dǎo)致模型在學(xué)習(xí)過(guò)程中對(duì)少數(shù)類別的識(shí)別性能較差，從而影響到模型的整體性能。

　　比如，OpenAI的AI文本檢測(cè)器之所以認(rèn)不出《麥克白》是莎士比亞的作品，關(guān)鍵因素就是莎士比亞是接近500年前的歷史人物，他寫《麥克白》所使用的古英語(yǔ)和現(xiàn)代英語(yǔ)存在不小的區(qū)別。但OpenAI的數(shù)據(jù)集里古英語(yǔ)的數(shù)量大概率極為有限，因此AI自然也就無(wú)法確定《麥克白》來(lái)自何處，而找不到出處就推斷為AI產(chǎn)出的內(nèi)容，其實(shí)也是相當(dāng)合理的。

　　因此這就是問(wèn)題所在，如果AI檢測(cè)工具本身的性能夠強(qiáng)，它就需要一個(gè)接近ChatGPT、或者其他AI大模型量級(jí)的數(shù)據(jù)集。但顯而易見的是，從目前的情況來(lái)說(shuō)，從無(wú)到有標(biāo)注一個(gè)有別于ChatGPT的數(shù)據(jù)集不僅OpenAI做不到，即使它的重要投資方微軟也有力未逮。畢竟如果真的有這樣的數(shù)據(jù)集，為什么不去拿它訓(xùn)練ChatGPT，來(lái)孵化出更強(qiáng)大的GPT-5呢?

　　所以歸根結(jié)底，用AI來(lái)監(jiān)管AI現(xiàn)階段可能還只是一個(gè)美好的暢想，但從當(dāng)下的技術(shù)條件來(lái)看，這一路徑并不具備現(xiàn)實(shí)意義。如果說(shuō)單單幫助人類分辨到底哪些內(nèi)容是由AI產(chǎn)出，或許數(shù)字水印技術(shù)反而更有可行性。在ChatGPT等AI大模型生成內(nèi)容的那一刻就加入水印，直接讓用戶看到內(nèi)容時(shí)就能知道它到底是不是由AI生成的。