可在圖像中生成任意精準(zhǔn)文本，支持中文！阿里開源AnyText

　　隨著Midjourney、Stable Difusion等產(chǎn)品的出現(xiàn)，文生圖像領(lǐng)域獲得了巨大突破。但是想在圖像中生成/嵌入精準(zhǔn)的文本卻比較困難。

　　經(jīng)常會(huì)出現(xiàn)模糊、莫名其妙或錯(cuò)誤的文本，尤其是對中文支持非常差，例如，生成一張印有“2024龍年吉祥”的春聯(lián)圖像，就連著名的文生圖模型都很難精準(zhǔn)生成。

　　為了解決這些難題阿里巴巴集團(tuán)的研究人員開源了，多語言視覺文字生成與編輯模型——AnyText。

　　根據(jù)「AIGC開放社區(qū)」的實(shí)際使用體驗(yàn)，AnyText對生成文字的把控可媲美專業(yè)PS，用戶可自定義規(guī)劃文字出現(xiàn)的位置，圖片的強(qiáng)度、力度、種子數(shù)等，目前在Github超2,400顆星非常受歡迎。

　　由AnyText生成，完美理解中文提示詞，同時(shí)可自定義文字出現(xiàn)的位置

　　值得一提的是，AnyText能以插件形式與其他開源擴(kuò)散模型無縫集成，可全面強(qiáng)化其圖像嵌入精準(zhǔn)文本的能力。

　　AnyText支持中文、日文、韓文、英語等多種語言，可幫助電商、廣告平面設(shè)計(jì)、電影制作、動(dòng)畫設(shè)計(jì)師、插畫師、網(wǎng)頁設(shè)計(jì)、UI設(shè)計(jì)師、數(shù)字營銷等領(lǐng)域的人員，提供高精準(zhǔn)、自定義的文生圖像服務(wù)。

　　AnyText技術(shù)架構(gòu)

　　目前，開源的擴(kuò)散模型在生成的圖像中嵌入精準(zhǔn)文本表現(xiàn)不佳，主要有3個(gè)原因：

　　1)缺乏包含全面文本內(nèi)容注釋的大規(guī)模圖像和文本配對數(shù)據(jù)集。現(xiàn)有的大規(guī)模圖像擴(kuò)散模型的訓(xùn)練數(shù)據(jù)集，如LAION-5B，缺乏手動(dòng)注釋或文本內(nèi)容的OCR結(jié)果。

　　2)許多開源擴(kuò)散模型使用的文本編碼器，如CLIP文本編碼器，采用基于詞匯的分詞器，無法直接訪問字符級別的信息，導(dǎo)致對個(gè)別字符的敏感性降低。

　　3)大多數(shù)擴(kuò)散模型的損失函數(shù)旨在提高整體圖像生成質(zhì)量，缺乏對文本區(qū)域的專門監(jiān)督和優(yōu)化。

　　針對上述難題，阿里的研究人員開發(fā)了AnyText模型和AnyWord-3M數(shù)據(jù)集。AnyText采用了文本控制的擴(kuò)散流程，包括兩個(gè)重要模塊：輔助潛變量和文本嵌入。

　　輔助潛變量模塊用于生成或編輯文本的潛在特征，作用是接受文本字形、位置和遮罩圖像等輸入，生成用于文本生成或編輯的潛在特征。

　　這些潛在特征在生成或編輯文本時(shí)起到輔助作用，幫助確保文本的準(zhǔn)確性和一致性。

　　輔助潛變量使得AnyText能夠在圖像中，生成或編輯曲線或不規(guī)則區(qū)域的文本。這也就是說，即便想生成彎曲、不規(guī)則的字體也沒問題!

　　文本嵌入模塊利用OCR模型將筆畫數(shù)據(jù)編碼為嵌入向量，并與標(biāo)記器生成的圖像標(biāo)題嵌入向量進(jìn)行融合，從而生成與背景無縫融合的文本。

　　為了提高書寫準(zhǔn)確性，研究團(tuán)隊(duì)采用了文本控制的擴(kuò)散損失和文本感知損失進(jìn)行訓(xùn)練。

　　提升圖像嵌入文本精準(zhǔn)度

　　為了進(jìn)一步提高生成文本的準(zhǔn)確性，AnyText采用了文本控制擴(kuò)散損失和文本感知損失進(jìn)行訓(xùn)練。

　　文本控制擴(kuò)散損失，用于控制生成的文本在指定位置和樣式上的準(zhǔn)確性。它通過比較生成文本與目標(biāo)文本之間的差異，促使模型生成更準(zhǔn)確、一致的文本。

　　文本感知損失，作用是進(jìn)一步增強(qiáng)生成文本的準(zhǔn)確性。它通過比較生成文本的特征表示與真實(shí)圖像中相應(yīng)區(qū)域的特征表示之間的差異，來衡量生成文本在視覺上的準(zhǔn)確性。

　　AnyWord-3M數(shù)據(jù)集

　　這個(gè)數(shù)據(jù)集是提升AnyText文本能力的重要部分，一共包含了300萬個(gè)圖像-文本對，并提供了多種語言的OCR(光學(xué)字符識別)注釋。

　　AnyWord-3M中出現(xiàn)的文本行超過900萬行,字符和詞匯數(shù)總量超過2億。文本涵蓋中文、英文、日文、韓文等語言。這是目前公開的規(guī)模最大,也是第一個(gè)專門用于文本生成任務(wù)的多語種數(shù)據(jù)集。

　　主要包含的數(shù)據(jù)集：悟空數(shù)據(jù)集的中文部分，這是哩哩哩實(shí)驗(yàn)室構(gòu)建的數(shù)億級中文跨模態(tài)數(shù)據(jù)集。AnyWord-3M從中篩選出約154萬張圖像。

　　LAION數(shù)據(jù)集的英文部分，由斯坦福大學(xué)等構(gòu)建的大規(guī)模英文圖像文字匹配數(shù)據(jù)集, AnyWord-3M選擇了其中約140萬張圖像。

　　多個(gè)OCR識別數(shù)據(jù)集，包括文字定位和識別領(lǐng)域的標(biāo)準(zhǔn)數(shù)據(jù)集ArT、COCO-Text、RCTW等,提供了約10萬張帶標(biāo)注的文本圖像。

　　在獲取這些源數(shù)據(jù)之后,AnyText研究人員還設(shè)計(jì)了嚴(yán)格的過濾規(guī)則,對圖像和文本行進(jìn)行過濾,確保訓(xùn)練數(shù)據(jù)的質(zhì)量。

　　文本行過濾的規(guī)則非常細(xì)致,例如，文本行高最小30像素、文本識別置信度超過0.7等。

　　所以，AnyWord-3M吸取了多個(gè)數(shù)據(jù)集的精華中的精華，也是AnyText能力非常強(qiáng)悍的重要原因之一。