StyleMamba：一種高效的文本驅(qū)動圖像風(fēng)格轉(zhuǎn)換的ai模型

　　近期，來自倫敦帝國理工學(xué)院和戴爾的研究團(tuán)隊推出了 StyleMamba，這是一種有效的框架，用于轉(zhuǎn)移圖片風(fēng)格，通過使用文本來指導(dǎo)風(fēng)格化過程，同時保持原始圖像內(nèi)容。當(dāng)前文本驅(qū)動風(fēng)格化技術(shù)的計算需求和訓(xùn)效率低下的問題在這個引入中得到了解決。

　　傳統(tǒng)上，文本驅(qū)動的風(fēng)格化是通過大的計算資源和冗長的訓(xùn)練過程來處理的。通過專門為有效的文本驅(qū)動圖像風(fēng)格轉(zhuǎn)移創(chuàng)建的條件空間模型，StyleMamba 加快了這一過程。通過這種方法，可以通過順序地將圖像特征與目文本提示進(jìn)行對齊，從而精確控制風(fēng)格化。

　　StyleMamba 提供了兩種獨(dú)特的損失函數(shù)，即二階方向損失和掩碼損失，以確保圖像與書面提示之間的局部和全局風(fēng)格一致性。這些損失將所需的訓(xùn)迭代次數(shù)減少了5倍，推理時間減少了3倍，從而優(yōu)化了風(fēng)格化方向。

　　StyleMamba 的有效性經(jīng)過了大量測試和定性分析的確認(rèn)。結(jié)果驗證了該建議方法的魯棒性和整體風(fēng)格化性能優(yōu)于當(dāng)前基線的性能。這框架提供了一種更有效、更經(jīng)濟(jì)的方式，將口頭描述轉(zhuǎn)換為視覺上吸引人的風(fēng)格，同時保持原始圖像材料的完整性和精神。

　　該團(tuán)隊總結(jié)了他們的主要貢獻(xiàn)如下:

　　1. 通過將條件 Mamba 整合到 AutoEncoder 架構(gòu)中，StyleMamba 提供了一個簡單而強(qiáng)大的框架。通過這種合，可以快速有效地完成文本驅(qū)動的風(fēng)格轉(zhuǎn)移，簡化了與當(dāng)前方法的比較。

　　2. StyleMamba 使用損失函數(shù)來提高風(fēng)格化質(zhì)量。引入掩碼方向損失和二階關(guān)系損失，確保更好的全局和局部風(fēng)格致性，而不損害圖像的原始內(nèi)容，并加快了風(fēng)格化過程。

　　3. StyleMamba 的有效性經(jīng)過了徹的經(jīng)驗分析，包括定量和定性評估。這些測試表明了 StyleMamba 在風(fēng)格化質(zhì)量和速度方的優(yōu)勢。

　　由于其易用性和有效性，StyleMamba 已在除靜止圖像風(fēng)格轉(zhuǎn)移之外的設(shè)置中進(jìn)行了評估。實驗表明，StyleMamba 在各種應(yīng)用和媒體格式上都表現(xiàn)出多功能性和適應(yīng)性，包括多種風(fēng)格轉(zhuǎn)移任務(wù)和視頻風(fēng)格轉(zhuǎn)移。