谷歌DeepMind推出“超人類”AI系統(tǒng)SAFE，擅長(zhǎng)事實(shí)核查，節(jié)約成本并提高準(zhǔn)確性

　　谷歌DeepMind的研究團(tuán)隊(duì)發(fā)布了一項(xiàng)新研究，介紹了一種名為“Search-Augmented Factuality Evaluator (SAFE)”的人工智能系統(tǒng)。該系統(tǒng)利用大型語(yǔ)言模型將生成的文本分解成個(gè)別事實(shí)，并利用谷歌搜索結(jié)果來(lái)確定每個(gè)聲明的準(zhǔn)確性。研究發(fā)現(xiàn)，SAFE在評(píng)估大型語(yǔ)言模型生成的信息準(zhǔn)確性方面優(yōu)于人工事實(shí)檢查員。

　　與人工標(biāo)注員的對(duì)比顯示，SAFE的評(píng)估結(jié)果與人工評(píng)級(jí)的一致率達(dá)到了72%。更值得注意的是，在100個(gè)SAFE與人工評(píng)級(jí)者之間存在分歧的樣本中，SAFE的判斷在76%的情況下被證明是正確的。然而，研究中“超人類”表現(xiàn)的說法引發(fā)了爭(zhēng)議，一些專家質(zhì)疑這里的“超人類”到底是什么意思。他們認(rèn)為，需要更多透明度和人類基準(zhǔn)來(lái)評(píng)估SAFE的真實(shí)效果，而不僅僅是依賴于眾包工人。

　　SAFE的應(yīng)用成本約為人工事實(shí)檢查的20倍，這意味著它可以大大降低事實(shí)核查的成本。研究團(tuán)隊(duì)還使用SAFE評(píng)估了13個(gè)頂級(jí)語(yǔ)言模型的事實(shí)準(zhǔn)確性，并發(fā)現(xiàn)較大型的模型通常產(chǎn)生較少的錯(cuò)誤。盡管最佳模型的表現(xiàn)仍然存在一定數(shù)量的錯(cuò)誤，但自動(dòng)事實(shí)檢查工具如SAFE可能在減少這些風(fēng)險(xiǎn)方面發(fā)揮關(guān)鍵作用。

　　雖然SAFE的代碼和LongFact數(shù)據(jù)集已在GitHub上開源，但研究人員指出，仍需要更多關(guān)于研究中使用的人類基準(zhǔn)的透明度。正因如此，技術(shù)巨頭們競(jìng)相開發(fā)越來(lái)越強(qiáng)大的語(yǔ)言模型，自動(dòng)核查這些系統(tǒng)輸出的信息的能力可能變得至關(guān)重要。SAFE等工具代表著建立新的信任和責(zé)任層面的重要一步。

　　然而，關(guān)鍵是這類重要技術(shù)的發(fā)展必須在開放的環(huán)境中進(jìn)行，并獲得來(lái)自廣泛利益相關(guān)者的意見。嚴(yán)格、透明地與人類專家進(jìn)行基準(zhǔn)測(cè)試將是衡量真正進(jìn)步的關(guān)鍵所在。只有這樣，我們才能評(píng)估自動(dòng)事實(shí)檢查對(duì)打擊錯(cuò)誤信息的實(shí)際影響。