無限新衣服零元購 阿里Outfit Anyone實現(xiàn)真人百變換裝

　　本文來自于微信公眾號 機器之心(ID:almosthuman2014)，作者:機器之心。

　　不實際試穿，就能嘗試各種服飾，虛擬試衣技術(shù)讓「QQ秀」升級成了真人版，為時尚行業(yè)打開了新世界的大門。

　　然而，現(xiàn)有的虛擬試衣方法在逼真性和細(xì)節(jié)上的一致性方面還存在挑戰(zhàn)。雖然擴(kuò)散模型在創(chuàng)造高品質(zhì)和真實感圖像方面表現(xiàn)出眾，但在虛擬試衣等特定場景中，它們在維持控制力和一致性方面還有待提高。

　　Outfit Anyone 利用了一種創(chuàng)新的雙流條件擴(kuò)散模型，有效地解決了這些問題，能夠精確地處理服裝的變形效果，實現(xiàn)更加逼真的試穿體驗。Outfit Anyone最大的特點是其極強的適應(yīng)性和廣泛的應(yīng)用范圍，不僅能調(diào)整以適應(yīng)不同的姿勢和體形，無論是動畫形象還是真人，都可以一鍵換裝�，F(xiàn)已開放試玩。

　　主要方法:條件擴(kuò)散網(wǎng)絡(luò)

　　虛擬試衣任務(wù)本質(zhì)是一個條件生成的任務(wù)，也就是基于給定一張服飾圖片作為條件輸入，控制生成服飾在人身上的試衣圖片。當(dāng)前的 diffusion model 在生成的可控性方面做了很多工作，比如基于 tuning-based 的方法，如 lora， dreambooth 等，可以實現(xiàn)通過針對某一個或幾個概念的樣本圖片進(jìn)行針對性訓(xùn)練，學(xué)習(xí)對應(yīng)的某個 concept， 在生成的過程中可以實現(xiàn)對應(yīng) concept 或者物體的生成。然而這種方式以來 finetuning，計算和時間成本高，且難以擴(kuò)展到多個物體的同時生成。

　　另外一類控制生成的方法是以 controlnet 為代表，其主要原理是通過 zero-conv 訓(xùn)練一個插件的網(wǎng)絡(luò)，可以實現(xiàn)利用 mask，canny edge， depth 等多種信號控制最終生成圖片的 layout。這種方式的最大的弊端在于控制信號與目標(biāo)圖像在空間上是 align 的，但服飾與控制信號和目標(biāo)圖像在空間分布上有較大的差異，導(dǎo)致無法直接使用，從而限制了其應(yīng)用的拓展范圍。

　　因此，作者提出了一種新的支持試衣功能的條件生成網(wǎng)絡(luò)，實現(xiàn)服飾的形變，光照的變化，服飾新視角變化情況下的生成，同時能夠保持服飾的紋理，版型，細(xì)節(jié)的一致性。

　　相比 lora，dreambooth 等方法的好處是，不再需要針對每個物體進(jìn)行 finetuning，具有很強的泛化性，從而可以實現(xiàn) zero-shot 一鍵試衣。

　　此外，為了提升試衣結(jié)果的真實性，作者提出了 refiner 網(wǎng)絡(luò)，對服飾的細(xì)節(jié)進(jìn)行提升，從而能夠提升服飾的材質(zhì)、色彩，使其更接近真實的試衣效果。Outfit Anyone也支持各種復(fù)雜的服飾，多樣的姿勢，以及適配多種體型，使其能夠滿足用戶多樣化的試衣需求。

　　框架設(shè)計

　　近些年，雖然模型仍層出不窮，但模型設(shè)計逐漸走向同質(zhì)化。主要可以分為3個部分:

　　(1)輸入信號(圖像 / 視頻 / 文本 /timestep)轉(zhuǎn)化為 embedding 參入到后續(xù)網(wǎng)絡(luò)計算中;

　　(2)基礎(chǔ)計算單元:以 Convolution Block 和 Transformer Block 構(gòu)成;

　　(3)信息交互單元則根據(jù) embedding 之間的不同，可以通過 spatially-aligned operation 和 non-spatially aligned operation 的多種方式實現(xiàn)融合。

　　在框架設(shè)計上，研究團(tuán)隊遵循簡潔有效的原則，按以上的基礎(chǔ)思路，首先確定了需要何種輸入信號，并根據(jù)信號的差異化采用不同的特征交互方式。

　　在試衣場景中，需要3個控制信號:

　　模特控制:模型提取模特 id，姿態(tài)等控制信號，實現(xiàn)模特的控制。

　　服飾控制:服飾的平鋪圖、服飾的上身圖、飾品(帽子、包、鞋子等)。

　　圖像全局控制:文本描述。

　　Outfit Anyone采用了以下的控制信號植入形式:

　　模特控制:利用 spatially aligned operation ，本身作為模特圖抽取特征內(nèi)容，與目標(biāo)圖像在空間對齊。

　　服飾控制:本身與模特圖空間不能對齊，需要進(jìn)行形變操作，再通過非線性的操作進(jìn)行特征融合。

　　背景、質(zhì)量等控制:利用 attention 機制實現(xiàn)語義層次特征與圖像特征的融合。

　　目前，基于 Diffusion Model 的生成模型強調(diào)生成內(nèi)容在語義層面的對齊性，所以常采用以 CLIP 為代表的圖像語義抽取模型進(jìn)行特征提取，但這對于試衣模型需要保留所輸入服飾的紋理細(xì)節(jié)矛盾。因此，現(xiàn)有基于 CLIP 特征的試衣模型難以準(zhǔn)確完整的還原服飾本身的特性，采用對服飾紋理細(xì)節(jié)可還原 / 生成的網(wǎng)絡(luò)為佳。

　　而針對于模特相關(guān)的控制信號，在訓(xùn)練時，本身是輸入模特圖的一種抽象信號，可作為輸入模特圖的一個特征通道，在同一網(wǎng)絡(luò)中，通過 Channel 維度進(jìn)行信息整合，并不需要遵循 ControlNet 的設(shè)計，額外增加網(wǎng)絡(luò)進(jìn)行處理，從而一定程度簡化模型結(jié)構(gòu)。

　　基于以上思考，作者設(shè)計了 Outfit Anyone 的模型框架，將多種不同的輸入信號，輸入進(jìn)兩個網(wǎng)絡(luò)流中，通過融合的方式實現(xiàn)可控生成。

　　數(shù)據(jù)

　　作者擴(kuò)充了現(xiàn)有的公開服飾數(shù)據(jù)集，構(gòu)建了一個大規(guī)模的虛擬試衣服飾數(shù)據(jù)集。整個數(shù)據(jù)涵蓋了各種類目，包含大量高質(zhì)量圖片。此外，為了實現(xiàn)高質(zhì)量的服飾還原，作者充分地整理和提取了服飾相關(guān)的材質(zhì)屬性等信息。

　　效果展示

　　1. 僅需平鋪圖輸入，且支持單件 + 上下裝成套的試衣

　　站在服飾商家的角度，需要以平鋪圖作為輸入，避免需要上身圖的額外要求。但這也在服飾上身后的自然度方面對算法提出了更高的要求。

　　Outfit Anyone 支持平鋪圖的輸入，并且可同時支持單件或者上下搭配。模型根據(jù)模特姿勢身材的不同，相應(yīng)生成褶皺、光照等細(xì)節(jié)不同的服飾上身效果，從而實現(xiàn)百變的換裝體驗。

　　2. 非常規(guī)服飾試衣

　　在時尚浪潮的前沿，除了常規(guī)版型的服飾，還有更多有創(chuàng)意的新奇服飾。Outfit Anyone對這類服飾也能提供很好的支持。

　　3. 細(xì)節(jié)一致性提升，可以保證服飾細(xì)節(jié)的一致性

　　為了使Outfit Anyone所生成的試衣圖片達(dá)到攝影級別的質(zhì)量，作者進(jìn)一步基于試衣模型結(jié)構(gòu)開發(fā)了 refiner�？梢栽诒Ａ舴�飾基本 ID 的基礎(chǔ)上，顯著提升服飾的材料質(zhì)感，模特的皮膚真實度。