Meta推新框架OPT2I 提高SD圖像生成一致性

　　Meta公司最近推出了一款名為OPT2I的新框架，該框架利用大型語(yǔ)言模型(LLM)來(lái)提高SD 圖像從提示詞到圖像(T2I)的生成過(guò)程中的一致性。

　　OPT2I是一個(gè)優(yōu)化框架，旨在提升T2I模型中的提示-圖像一致性。它的工作流程始于用戶輸入的提示詞，并通過(guò)迭代的方式生成修訂后的提示詞，目標(biāo)是最大化一致性得分。

　　經(jīng)過(guò)在兩個(gè)數(shù)據(jù)集MSCOCO和PartiPrompts上的廣泛驗(yàn)證，研究顯示，OPT2I能夠顯著提高初始一致性得分，同時(shí)保持FID(一種評(píng)估生成圖像質(zhì)量的指標(biāo))并增加生成數(shù)據(jù)與真實(shí)數(shù)據(jù)之間的召回率。

　　OPT2I框架由三個(gè)主要部分構(gòu)成:預(yù)訓(xùn)練的T2I模型、LLM以及一個(gè)自動(dòng)提示-圖像一致性評(píng)分器。該框架通過(guò)迭代地利用提示-評(píng)分對(duì)的歷史記錄，提出修訂后的提示，從而生成更符合用戶意圖的圖像。

　　此外，作者們還探討了如何設(shè)計(jì)元提示(meta-prompt)，以及如何通過(guò)反饋調(diào)整LLM的探索-利用權(quán)衡，以進(jìn)一步提升模型的性能�？偟膩�(lái)說(shuō)，OPT2I框架為提高T2I模型的提示-圖像一致性提供了一種新的有效方法。