谷歌DeepMind新方法Gecko，為測試AI圖像生成器引入嚴(yán)格新標(biāo)準(zhǔn)

　　谷歌 DeepMind 最近的研究示了當(dāng)前我們對文本到圖像 AI 模型性能評估的隱藏局限性。在其發(fā)布在預(yù)印本服務(wù)器 ariv 上的研究中，他們引入了一種全新的方法稱為 “Gecko”，承諾提供一個更全和可靠的基準(zhǔn)，以評估這一蓬勃發(fā)展的技術(shù)。

　　研究團(tuán)隊在其題為 “用 Gecko 審視文本到圖像評估:對度量、提示和人類評分” 的論文中警告稱:“雖然文到圖像生成模型已經(jīng)變得無處不在，但它們并不一定生成與給定提示相一致的圖。” 他們指出，目前主要用于評估 DALL-E、Midjourney 和 Stable Diffusion 等模型能力數(shù)據(jù)集和自動度量并不能全面反映實(shí)際情況。

　　小規(guī)模的人類評估提供了有限的解，而自動度量可能會忽略重要細(xì)微之處，甚至與人類評委產(chǎn)生分歧。 為了揭示這些問題，研究人員開發(fā)了 “Gecko”—— 一個新的基準(zhǔn)套件，它為文本到圖模型提供了更高難度的測試。Gecko基準(zhǔn)通過2000個文本提示對模型進(jìn)行全面考核，探究各種技能和復(fù)雜程度。它將這些提示分成具體的子技能，超越模糊的類，以準(zhǔn)確找出限制模型的確切弱點(diǎn)。

　　研究人員還收集了對數(shù)個領(lǐng)先模型生成的圖像進(jìn)行的超過10萬份人類評分。這一基準(zhǔn)可以揭示模型性能差距是源自模型真正的局限性、模糊的提示，還是評估方法的不一致。

　　“Gecko” 基準(zhǔn)還采用了一個基于問的增強(qiáng)自動評估指標(biāo)，與人類判斷更為相關(guān)。當(dāng)用于比較新基準(zhǔn)下的最先進(jìn)模型時，這一組合揭示了先前未被發(fā)現(xiàn)的模型優(yōu)勢和劣勢。 研究人員希望他的工作能夠證明使用多樣的基準(zhǔn)和評估方法來真正了解文本到圖像 AI 在實(shí)際部署前能做什么，不能做什么的重要性。他們計劃免費(fèi)公開 “Gecko” 代碼和數(shù)據(jù)，推動進(jìn)一步的進(jìn)展。 因此，盡管那些看似令人印象深刻的作品可能乍一看令人印象深刻，但我們?nèi)匀恍枰獓?yán)格的測試來區(qū)分真假。Gecko為我們展示了如何做到這一。