小米發(fā)布新項(xiàng)目SDXS，大幅提升SD圖像生成速度

　　近日，小米發(fā)布了一項(xiàng)名為SDXS的項(xiàng)目，該項(xiàng)目旨在大幅增強(qiáng)SD圖像生成速度。據(jù)悉，SDXS可以在單個(gè)GPU上實(shí)現(xiàn)SD1.5每秒100張圖的生成速度，而SDXL則能達(dá)到每秒30張圖的生成速度。這一項(xiàng)目估計(jì)是為了在小米的本地設(shè)備上運(yùn)行SD模型而研究的。

　　擴(kuò)散模型在圖像生成任務(wù)上取得了優(yōu)異的性能，但由于模型龐大且需要多步采樣，推理速度很慢，難以部署在低功耗設(shè)備上。為了解決這些問(wèn)題，可以采用剪枝、知識(shí)蒸餾、量化等常見(jiàn)的模型壓縮方法。本文的優(yōu)化思路主要有兩個(gè)方面:一是模型微型化，二是減少采樣步數(shù)至1步。

　　在項(xiàng)目介紹中，小米采用了知識(shí)蒸餾技術(shù)來(lái)簡(jiǎn)化U-Net架構(gòu)和圖像解碼器。同時(shí)，他們還引入了一種創(chuàng)新的單步訓(xùn)練技術(shù)，這種技術(shù)通過(guò)特征匹配和成績(jī)蒸餾來(lái)訓(xùn)練擴(kuò)散模型�；�于這些優(yōu)化措施，小米開(kāi)發(fā)了兩款模型，SDXS-512和SDXS-1024。這兩款模型在單個(gè)GPU上分別能達(dá)到大約每秒100幀(比SD v1.5快30倍)和每秒30幀(比SDXL快60倍)的處理速度。

　　此外，小米表示，這種訓(xùn)練方法在圖像條件控制方面展現(xiàn)出巨大的潛力，有效地實(shí)現(xiàn)了圖像到圖像的快速轉(zhuǎn)換。這一突破性的進(jìn)展將有助于推動(dòng)圖像生成技術(shù)的發(fā)展，同時(shí)也為小米在人工智能領(lǐng)域的研究和應(yīng)用提供了有力支持。