Stable Diffusion 3，可通過API使用啦

　　4月18日，著名開源大模型平臺(tái)Stability.ai在官網(wǎng)宣布，最新文生圖模型Stable Diffusion3(簡(jiǎn)稱“SD3”)和 SD3Turbo可以在API中使用。

　　據(jù)悉，本次繼續(xù)由知名API管理平臺(tái)Fireworks AI提供服務(wù)。與前兩代相比，SD3除了生成的圖片質(zhì)量更高之外，可以更好地理解提示文本中嵌入到圖片中的文字。

　　例如，一個(gè)色彩繽紛的魔法世界，天空的中央寫著“歡迎來到魔法世界”。

　　前兩個(gè)模型版本可能無法將“歡迎來到魔法世界”精準(zhǔn)嵌入到圖片的指定位置或出現(xiàn)扭曲的文字，而SD3可以輕松實(shí)現(xiàn)。

　　此外，SD3的模型權(quán)重將很快向Stability AI會(huì)員提供，可以在本地部署、運(yùn)行SD3。

　　Stable Diffusion3架構(gòu)簡(jiǎn)單介紹

　　今年2月22日，Stability.ai在官網(wǎng)首次展示了SD3并開啟候補(bǔ)測(cè)試。隨后3月5日在arxiv上公布了其論文。

　　根據(jù)其論文介紹，SD3與前兩代相比最大技術(shù)創(chuàng)新在于，使用了MM-DiT和Flow Matching兩種方法來增強(qiáng)模型的輸出、訓(xùn)練、優(yōu)化等，同時(shí)支持文本或圖像作為提示實(shí)現(xiàn)多模態(tài)能力。

　　通常多數(shù)文生圖模型在生成的過程中，只考慮圖像本身而沒有充分利用文本信息，所以，輸出結(jié)果時(shí)經(jīng)常出現(xiàn)“驢頭不對(duì)馬嘴”的情況，甚至是一些無法理解的亂碼或者扭曲的圖像。

　　而MM-DiT通過結(jié)合Transformer的自注意力機(jī)制強(qiáng)大的文本和圖像序列處理能力，幫助模型在生成圖像時(shí)能與文本實(shí)現(xiàn)更好的匹配。

　　當(dāng)用戶輸入文本或圖像提示時(shí)，首先被轉(zhuǎn)換為嵌入表示。文本通過預(yù)訓(xùn)練的文本模型編碼，而圖像則通過預(yù)訓(xùn)練的自動(dòng)編碼器轉(zhuǎn)換為潛在空間表示。

　　MM-DiT會(huì)使用一種調(diào)制機(jī)制來整合時(shí)間步和文本條件信息，會(huì)將時(shí)間步和文本嵌入與圖像的潛在表示進(jìn)行整合。

　　接著，MM-DiT會(huì)利用一系列的調(diào)制注意力和多層感知力進(jìn)一步混合文本和圖像特征。這些塊允許模型在保留各自模態(tài)特征的同時(shí)，進(jìn)行跨模態(tài)的信息交流。

　　為了幫助SD3更好地處理多模態(tài)數(shù)據(jù)，MM-DiT采用了多頭注意力機(jī)制，允許模型在不同的表示子空間中并行處理信息。

　　這也是SD3能深度理解文本提示中的嵌入文字主要原因，MMDiT不僅能將文字轉(zhuǎn)換成圖片，還能確保圖片能夠反映出文字中的所有細(xì)節(jié)。

　　根據(jù)測(cè)試數(shù)據(jù)顯示，與DiT、CrossDiT、UViT等方法相比，MM-DiT所有指標(biāo)上表現(xiàn)都非常出色，并且在內(nèi)部共享權(quán)重集。

　　Flow Matching是一種用于訓(xùn)練Rectified Flow模型的方法，通過最小化生成路徑上的誤差來改善模型性能，同時(shí)幫助模型學(xué)習(xí)從隨機(jī)噪聲快速轉(zhuǎn)換到目標(biāo)圖像。

　　在訓(xùn)練過程中，F(xiàn)low Matching會(huì)先定義一個(gè)從數(shù)據(jù)分布到噪聲分布的前向過程，這個(gè)過程通過一系列的時(shí)間步驟來模擬，每個(gè)步驟都對(duì)應(yīng)著數(shù)據(jù)向噪聲的逐漸轉(zhuǎn)變。

　　接著，通過對(duì)每個(gè)時(shí)間步的噪聲樣本生成一個(gè)向量場(chǎng)，可以在概率空間中模擬數(shù)據(jù)到噪聲的轉(zhuǎn)換。

　　最后，F(xiàn)low Matching通過最小化一個(gè)目標(biāo)函數(shù)來優(yōu)化生成向量場(chǎng)。該目標(biāo)函數(shù)的作用是幫助模型預(yù)測(cè)的向量場(chǎng)和真實(shí)向量場(chǎng)之間的差異。優(yōu)化的過程中會(huì)盡量減小這個(gè)差異，從而提高模型的生成圖像預(yù)測(cè)準(zhǔn)確性。

　　關(guān)于SD3更詳細(xì)的技術(shù)解讀，小伙伴們可以查看論文。

　　SD3生成圖片展示

　　根據(jù)Stability.ai展示的效果，SD3生成的圖片有一些甚至比Midjourney更好，尤其是文字嵌入方面。

　　一座白色建筑頂部放著一張紅色沙發(fā)。涂鴉強(qiáng)上寫著“城市最佳景觀”。

　　一個(gè)印有“他們說在這里思考不好”的紙板箱，紙板箱很大，放在劇場(chǎng)舞臺(tái)上。

　　半透明的豬，肚子里有一只更小的豬。

　　一只奶酪制作的螃蟹，在盤子中。

　　在山頂上有一位巫師創(chuàng)作了一幅令人驚嘆的藝術(shù)作品，他用魔法創(chuàng)造了文字"Stable Diffusion3API"。