谷歌DeepMind推出“超人類”AI系統(tǒng)SAFE，擅長事實核查，節(jié)約成本并提高準(zhǔn)確性

　　谷歌DeepMind的研究團隊發(fā)布了一項新研究，介紹了一種名為“Search-Augmented Factuality Evaluator (SAFE)”的人工智能系統(tǒng)。該系統(tǒng)利用大型語言模型將生成的文本分解成個別事實，并利用谷歌搜索結(jié)果來確定每個聲明的準(zhǔn)確性。研究發(fā)現(xiàn)，SAFE在評估大型語言模型生成的信息準(zhǔn)確性方面優(yōu)于人工事實檢查員。

　　與人工標(biāo)注員的對比顯示，SAFE的評估結(jié)果與人工評級的一致率達到了72%。更值得注意的是，在100個SAFE與人工評級者之間存在分歧的樣本中，SAFE的判斷在76%的情況下被證明是正確的。然而，研究中“超人類”表現(xiàn)的說法引發(fā)了爭議，一些專家質(zhì)疑這里的“超人類”到底是什么意思。他們認為，需要更多透明度和人類基準(zhǔn)來評估SAFE的真實效果，而不僅僅是依賴于眾包工人。

　　SAFE的應(yīng)用成本約為人工事實檢查的20倍，這意味著它可以大大降低事實核查的成本。研究團隊還使用SAFE評估了13個頂級語言模型的事實準(zhǔn)確性，并發(fā)現(xiàn)較大型的模型通常產(chǎn)生較少的錯誤。盡管最佳模型的表現(xiàn)仍然存在一定數(shù)量的錯誤，但自動事實檢查工具如SAFE可能在減少這些風(fēng)險方面發(fā)揮關(guān)鍵作用。

　　雖然SAFE的代碼和LongFact數(shù)據(jù)集已在GitHub上開源，但研究人員指出，仍需要更多關(guān)于研究中使用的人類基準(zhǔn)的透明度。正因如此，技術(shù)巨頭們競相開發(fā)越來越強大的語言模型，自動核查這些系統(tǒng)輸出的信息的能力可能變得至關(guān)重要。SAFE等工具代表著建立新的信任和責(zé)任層面的重要一步。

　　然而，關(guān)鍵是這類重要技術(shù)的發(fā)展必須在開放的環(huán)境中進行，并獲得來自廣泛利益相關(guān)者的意見。嚴格、透明地與人類專家進行基準(zhǔn)測試將是衡量真正進步的關(guān)鍵所在。只有這樣，我們才能評估自動事實檢查對打擊錯誤信息的實際影響。