無(wú)限新衣服零元購(gòu) 阿里Outfit Anyone實(shí)現(xiàn)真人百變換裝

　　本文來(lái)自于微信公眾號(hào) 機(jī)器之心(ID:almosthuman2014)，作者:機(jī)器之心。

　　不實(shí)際試穿，就能?chē)L試各種服飾，虛擬試衣技術(shù)讓「QQ秀」升級(jí)成了真人版，為時(shí)尚行業(yè)打開(kāi)了新世界的大門(mén)。

　　然而，現(xiàn)有的虛擬試衣方法在逼真性和細(xì)節(jié)上的一致性方面還存在挑戰(zhàn)。雖然擴(kuò)散模型在創(chuàng)造高品質(zhì)和真實(shí)感圖像方面表現(xiàn)出眾，但在虛擬試衣等特定場(chǎng)景中，它們?cè)诰S持控制力和一致性方面還有待提高。

　　Outfit Anyone 利用了一種創(chuàng)新的雙流條件擴(kuò)散模型，有效地解決了這些問(wèn)題，能夠精確地處理服裝的變形效果，實(shí)現(xiàn)更加逼真的試穿體驗(yàn)。Outfit Anyone最大的特點(diǎn)是其極強(qiáng)的適應(yīng)性和廣泛的應(yīng)用范圍，不僅能調(diào)整以適應(yīng)不同的姿勢(shì)和體形，無(wú)論是動(dòng)畫(huà)形象還是真人，都可以一鍵換裝�，F(xiàn)已開(kāi)放試玩。

　　主要方法:條件擴(kuò)散網(wǎng)絡(luò)

　　虛擬試衣任務(wù)本質(zhì)是一個(gè)條件生成的任務(wù)，也就是基于給定一張服飾圖片作為條件輸入，控制生成服飾在人身上的試衣圖片。當(dāng)前的 diffusion model 在生成的可控性方面做了很多工作，比如基于 tuning-based 的方法，如 lora， dreambooth 等，可以實(shí)現(xiàn)通過(guò)針對(duì)某一個(gè)或幾個(gè)概念的樣本圖片進(jìn)行針對(duì)性訓(xùn)練，學(xué)習(xí)對(duì)應(yīng)的某個(gè) concept， 在生成的過(guò)程中可以實(shí)現(xiàn)對(duì)應(yīng) concept 或者物體的生成。然而這種方式以來(lái) finetuning，計(jì)算和時(shí)間成本高，且難以擴(kuò)展到多個(gè)物體的同時(shí)生成。

　　另外一類控制生成的方法是以 controlnet 為代表，其主要原理是通過(guò) zero-conv 訓(xùn)練一個(gè)插件的網(wǎng)絡(luò)，可以實(shí)現(xiàn)利用 mask，canny edge， depth 等多種信號(hào)控制最終生成圖片的 layout。這種方式的最大的弊端在于控制信號(hào)與目標(biāo)圖像在空間上是 align 的，但服飾與控制信號(hào)和目標(biāo)圖像在空間分布上有較大的差異，導(dǎo)致無(wú)法直接使用，從而限制了其應(yīng)用的拓展范圍。

　　因此，作者提出了一種新的支持試衣功能的條件生成網(wǎng)絡(luò)，實(shí)現(xiàn)服飾的形變，光照的變化，服飾新視角變化情況下的生成，同時(shí)能夠保持服飾的紋理，版型，細(xì)節(jié)的一致性。

　　相比 lora，dreambooth 等方法的好處是，不再需要針對(duì)每個(gè)物體進(jìn)行 finetuning，具有很強(qiáng)的泛化性，從而可以實(shí)現(xiàn) zero-shot 一鍵試衣。

　　此外，為了提升試衣結(jié)果的真實(shí)性，作者提出了 refiner 網(wǎng)絡(luò)，對(duì)服飾的細(xì)節(jié)進(jìn)行提升，從而能夠提升服飾的材質(zhì)、色彩，使其更接近真實(shí)的試衣效果。Outfit Anyone也支持各種復(fù)雜的服飾，多樣的姿勢(shì)，以及適配多種體型，使其能夠滿足用戶多樣化的試衣需求。

　　框架設(shè)計(jì)

　　近些年，雖然模型仍層出不窮，但模型設(shè)計(jì)逐漸走向同質(zhì)化。主要可以分為3個(gè)部分:

　　(1)輸入信號(hào)(圖像 / 視頻 / 文本 /timestep)轉(zhuǎn)化為 embedding 參入到后續(xù)網(wǎng)絡(luò)計(jì)算中;

　　(2)基礎(chǔ)計(jì)算單元:以 Convolution Block 和 Transformer Block 構(gòu)成;

　　(3)信息交互單元?jiǎng)t根據(jù) embedding 之間的不同，可以通過(guò) spatially-aligned operation 和 non-spatially aligned operation 的多種方式實(shí)現(xiàn)融合。

　　在框架設(shè)計(jì)上，研究團(tuán)隊(duì)遵循簡(jiǎn)潔有效的原則，按以上的基礎(chǔ)思路，首先確定了需要何種輸入信號(hào)，并根據(jù)信號(hào)的差異化采用不同的特征交互方式。

　　在試衣場(chǎng)景中，需要3個(gè)控制信號(hào):

　　模特控制:模型提取模特 id，姿態(tài)等控制信號(hào)，實(shí)現(xiàn)模特的控制。

　　服飾控制:服飾的平鋪圖、服飾的上身圖、飾品(帽子、包、鞋子等)。

　　圖像全局控制:文本描述。

　　Outfit Anyone采用了以下的控制信號(hào)植入形式:

　　模特控制:利用 spatially aligned operation ，本身作為模特圖抽取特征內(nèi)容，與目標(biāo)圖像在空間對(duì)齊。

　　服飾控制:本身與模特圖空間不能對(duì)齊，需要進(jìn)行形變操作，再通過(guò)非線性的操作進(jìn)行特征融合。

　　背景、質(zhì)量等控制:利用 attention 機(jī)制實(shí)現(xiàn)語(yǔ)義層次特征與圖像特征的融合。

　　目前，基于 Diffusion Model 的生成模型強(qiáng)調(diào)生成內(nèi)容在語(yǔ)義層面的對(duì)齊性，所以常采用以 CLIP 為代表的圖像語(yǔ)義抽取模型進(jìn)行特征提取，但這對(duì)于試衣模型需要保留所輸入服飾的紋理細(xì)節(jié)矛盾。因此，現(xiàn)有基于 CLIP 特征的試衣模型難以準(zhǔn)確完整的還原服飾本身的特性，采用對(duì)服飾紋理細(xì)節(jié)可還原 / 生成的網(wǎng)絡(luò)為佳。

　　而針對(duì)于模特相關(guān)的控制信號(hào)，在訓(xùn)練時(shí)，本身是輸入模特圖的一種抽象信號(hào)，可作為輸入模特圖的一個(gè)特征通道，在同一網(wǎng)絡(luò)中，通過(guò) Channel 維度進(jìn)行信息整合，并不需要遵循 ControlNet 的設(shè)計(jì)，額外增加網(wǎng)絡(luò)進(jìn)行處理，從而一定程度簡(jiǎn)化模型結(jié)構(gòu)。

　　基于以上思考，作者設(shè)計(jì)了 Outfit Anyone 的模型框架，將多種不同的輸入信號(hào)，輸入進(jìn)兩個(gè)網(wǎng)絡(luò)流中，通過(guò)融合的方式實(shí)現(xiàn)可控生成。

　　數(shù)據(jù)

　　作者擴(kuò)充了現(xiàn)有的公開(kāi)服飾數(shù)據(jù)集，構(gòu)建了一個(gè)大規(guī)模的虛擬試衣服飾數(shù)據(jù)集。整個(gè)數(shù)據(jù)涵蓋了各種類目，包含大量高質(zhì)量圖片。此外，為了實(shí)現(xiàn)高質(zhì)量的服飾還原，作者充分地整理和提取了服飾相關(guān)的材質(zhì)屬性等信息。

　　效果展示

　　1. 僅需平鋪圖輸入，且支持單件 + 上下裝成套的試衣

　　站在服飾商家的角度，需要以平鋪圖作為輸入，避免需要上身圖的額外要求。但這也在服飾上身后的自然度方面對(duì)算法提出了更高的要求。

　　Outfit Anyone 支持平鋪圖的輸入，并且可同時(shí)支持單件或者上下搭配。模型根據(jù)模特姿勢(shì)身材的不同，相應(yīng)生成褶皺、光照等細(xì)節(jié)不同的服飾上身效果，從而實(shí)現(xiàn)百變的換裝體驗(yàn)。

　　2. 非常規(guī)服飾試衣

　　在時(shí)尚浪潮的前沿，除了常規(guī)版型的服飾，還有更多有創(chuàng)意的新奇服飾。Outfit Anyone對(duì)這類服飾也能提供很好的支持。

　　3. 細(xì)節(jié)一致性提升，可以保證服飾細(xì)節(jié)的一致性

　　為了使Outfit Anyone所生成的試衣圖片達(dá)到攝影級(jí)別的質(zhì)量，作者進(jìn)一步基于試衣模型結(jié)構(gòu)開(kāi)發(fā)了 refiner�？梢栽诒Ａ舴�飾基本 ID 的基礎(chǔ)上，顯著提升服飾的材料質(zhì)感，模特的皮膚真實(shí)度。