高質(zhì)量圖像編輯的方法有很多,但都很難準(zhǔn)確表達(dá)出真實(shí)的物理世界。
那么,Edit the World試試。
來自北京大學(xué)、Tiamat AI、天工AI、Mila實(shí)驗(yàn)室提出了EditWorld,他們引入了一種新的編輯任務(wù),即世界指令(world-instructed)圖像編輯,它定義和分類基于各種世界場(chǎng)景的指令。
在一組預(yù)訓(xùn)練模型,比如GPT-3.5、Video-LLava 和 SDXL的支持下,建立了一個(gè)帶有世界指令的多模態(tài)數(shù)據(jù)集。
在該數(shù)據(jù)集訓(xùn)練了一個(gè)基于擴(kuò)散的圖像編輯模型EditWorld,結(jié)果在其新任務(wù)的表現(xiàn)明顯優(yōu)于現(xiàn)有的編輯方法,實(shí)現(xiàn)SOTA。
圖像編輯新SOTA
現(xiàn)有的方法通過多種途徑實(shí)現(xiàn)高質(zhì)量的圖像編輯,包括但不限于文本控制、拖動(dòng)操作以及inpainting。其中,利用instruction進(jìn)行編輯的方法由于使用方便受到廣泛的關(guān)注。
盡管現(xiàn)有的圖片編輯方法能夠產(chǎn)生高質(zhì)量的結(jié)果,但它們?cè)谔幚韨鬟_(dá)物理世界中真實(shí)視覺動(dòng)態(tài)的世界動(dòng)態(tài)方面仍然存在困難。
如圖1所示,無論是InstructPix2pix還是MagicBrush都無法生成合理的編輯結(jié)果。
為了解決這一問題,團(tuán)隊(duì)引入了一項(xiàng)新的任務(wù),稱為world-instructed image editing,使圖像編輯能夠反映真實(shí)物理世界和虛擬媒體中的“世界動(dòng)態(tài)”。
具體來說,他們定義并分類了各種世界動(dòng)態(tài)指令,并基于這些指令創(chuàng)建了一個(gè)新的多模態(tài)訓(xùn)練數(shù)據(jù)集,該數(shù)據(jù)集包含大量的輸入-指令-輸出三元組。
最后,團(tuán)隊(duì)使用精心制作的數(shù)據(jù)集訓(xùn)練了一個(gè)文本引導(dǎo)的擴(kuò)散模型,并提出了一種零樣本圖像操作策略,以實(shí)現(xiàn)world-instructed image editing。
根據(jù)現(xiàn)實(shí)世界以及虛擬媒體中的任務(wù)場(chǎng)景,將world-instructed image editing分為7種認(rèn)為類別,并對(duì)每一種類別進(jìn)行了定義與介紹,同時(shí)提供了一個(gè)數(shù)據(jù)樣例。
隨后團(tuán)隊(duì)設(shè)計(jì)了文本到圖片生成以及視頻分鏡提取兩個(gè)分支來獲取數(shù)據(jù)集。
文本生成圖片分支是為了豐富數(shù)據(jù)場(chǎng)景的豐富性,在該分支下,團(tuán)隊(duì)首先利用GPT生成文本四元組(包括input圖片描述、instruction、output圖片描述以及關(guān)鍵詞),接著利用input以及output描述生成對(duì)應(yīng)文本的圖片,利用關(guān)鍵詞對(duì)應(yīng)的attention map對(duì)編輯位置進(jìn)行定位獲取編輯mask,與此同時(shí)為了保證前后兩張圖關(guān)鍵特征的一致性,團(tuán)隊(duì)引入了image prompt adaption的方法IP-Adapter,最后團(tuán)隊(duì)使用IP-Adapter以及ControlNet,結(jié)合output image的canny map以及input image的image prompt feature,利用Image Inpainting對(duì)output image進(jìn)行調(diào)整,從而獲得比較有效的編輯數(shù)據(jù)。
利用文本生成圖片分支得到場(chǎng)景豐富的數(shù)據(jù)后,為了能向數(shù)據(jù)集中添加真實(shí)數(shù)據(jù),團(tuán)隊(duì)從視頻中提取高質(zhì)量的關(guān)鍵幀作為編輯數(shù)據(jù)。具體來說,團(tuán)隊(duì)從視頻分鏡中提取相關(guān)性強(qiáng)且結(jié)構(gòu)差異大兩幀作為起始與末尾幀,并切分出一段新的分鏡,利用多模態(tài)大模型對(duì)這段分鏡的變化進(jìn)行描述,最后團(tuán)隊(duì)以起始與末尾幀作為input image以及output image,以得到的描述作為instruction,這樣就獲得了需要的編輯數(shù)據(jù)。
再進(jìn)一步,團(tuán)隊(duì)利用人工對(duì)生成數(shù)據(jù)進(jìn)行recheck,從而進(jìn)一步提升數(shù)據(jù)質(zhì)量。
團(tuán)隊(duì)利用數(shù)據(jù)集對(duì)InstructPix2Pix模型進(jìn)行finetune,同時(shí)為了保護(hù)非編輯區(qū)域?qū)崿F(xiàn)更為精確的編輯,團(tuán)隊(duì)提出了post-edit策略。
最終可以看到,團(tuán)隊(duì)的方法可以很好地實(shí)現(xiàn)world-instructed image editing。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國(guó)柏林國(guó)際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場(chǎng)的強(qiáng)大影響力。
近日,中國(guó)家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。