百度推多模態(tài)模型UNIMO-G 支持還原圖片ID

　　1月26日 消息:在最新的研究中，百度提出了一項(xiàng)名為UNIMO-G的統(tǒng)一圖像生成框架，旨在克服現(xiàn)有文本到圖像擴(kuò)散模型面臨的挑戰(zhàn)。傳統(tǒng)模型主要根據(jù)簡潔的文本提示生成圖像，但文本描述的簡潔性限制了生成復(fù)雜細(xì)節(jié)圖像的能力。

　　UNIMO-G采用了簡單而強(qiáng)大的多模態(tài)條件擴(kuò)散框架，能夠處理交錯的文本和視覺輸入，展示了文本驅(qū)動和主題驅(qū)動圖像生成的統(tǒng)一能力。

　　UNIMO-G的核心組件包括多模態(tài)大語言模型(MLLM)和基于編碼的多模態(tài)輸入生成圖像的條件去噪擴(kuò)散網(wǎng)絡(luò)。獨(dú)特的兩階段訓(xùn)練策略使得該框架能夠在大規(guī)模文本圖像對上進(jìn)行預(yù)訓(xùn)練，開發(fā)出條件圖像生成能力，并通過多模態(tài)提示進(jìn)行指令調(diào)整，實(shí)現(xiàn)統(tǒng)一的圖像生成能力。

　　這一框架還采用了精心設(shè)計(jì)的數(shù)據(jù)處理管道，涉及語言基礎(chǔ)和圖像分割，用以構(gòu)建多模態(tài)提示。在測試中，UNIMO-G在文本到圖像生成和零樣本主題驅(qū)動合成方面表現(xiàn)卓越，特別是在處理包含多個圖像實(shí)體的復(fù)雜多模態(tài)提示時，生成高保真圖像的效果顯著。

　　總體而言，UNIMO-G的提出為文本到圖像生成領(lǐng)域帶來了新的可能性，其簡單而有效的多模態(tài)條件擴(kuò)散框架在處理復(fù)雜性和提高圖像生成質(zhì)量方面具有潛在的廣泛應(yīng)用價值。