ControlNet作者推新項(xiàng)目Omost 一句話變構(gòu)圖小作文 再也不用為寫提示詞頭疼了

　　近日，ControlNet的作者推出了一個(gè)全新的項(xiàng)目——Omost。這個(gè)項(xiàng)目對(duì)現(xiàn)有圖像模型的提示詞理解有著巨大的幫助。通過很短的提示詞，就可以生成非常詳細(xì)并且空間表現(xiàn)很準(zhǔn)確的圖片。

　　Omost通過預(yù)定義的位置、偏移量和區(qū)域三大參數(shù)來簡(jiǎn)化圖像元素的描述。這使得用戶能夠更直觀地指定圖像中各個(gè)元素的位置和大小，從而生成高質(zhì)量、符合預(yù)期的圖像。

　　使用Omost，你只需要輸入簡(jiǎn)單的提示詞，LLM就可以生成圖像每個(gè)區(qū)域的簡(jiǎn)單提示和位置信息。然后針對(duì)圖像九宮格的簡(jiǎn)單提示詞繼續(xù)擴(kuò)展，保證了每一部分都有非常詳細(xì)的描述。

　　比如，我輸入創(chuàng)建一個(gè)夢(mèng)幻的空中城堡，然后它給我返回了一段非常詳細(xì)的圖像描述:

　　這張照片展示了一座漂浮在高空的夢(mèng)幻空中城堡，

　　“城堡完全由玻璃和閃閃發(fā)光的金屬制成，反射出耀眼的陽光。”，

　　“精致的橋梁連接著各種塔，每座塔都裝飾著復(fù)雜的雕刻和發(fā)光的符文。”，

　　“城堡周圍的天空是柔和柔和色調(diào)的漸變，從黎明的粉紅色過渡到黃昏的藍(lán)色。”，

　　“下面是郁郁蔥蔥的森林、波光粼粼的河流和連綿起伏的山丘。”，

　　“整個(gè)場(chǎng)景籠罩在一種神奇的氛圍中，柔和空靈的光束照亮了城堡，營(yíng)造出一種奇妙和迷人的感覺。”

　　然后點(diǎn)擊生成圖像，它就會(huì)將上面的提示轉(zhuǎn)化為圖像返給你:

　　效果還不錯(cuò)。我們也可以將提示詞復(fù)制到MJ中生成。效果如下:

　　更牛逼的是，Omost已經(jīng)完成的圖像整體布局可以保留，如果你想修改畫面中的某個(gè)元素，也只需要一句提示詞即可。比如你原來的畫面主體是龍，你可以直接把龍變成恐龍。

　　項(xiàng)目亮點(diǎn):

　　自動(dòng)擴(kuò)展提示詞:Omost能夠?qū)⒑?jiǎn)單的提示詞拆解成詳細(xì)的描述，從圖像整體到局部元素的位置和大小均能詳細(xì)說明。例如輸入“a funny cartoon batman fights joker”，系統(tǒng)會(huì)生成蝙蝠俠與小丑戰(zhàn)斗的完整圖像。

　　高靈活性:生成的圖像布局可以保留，用戶可以通過簡(jiǎn)單的提示詞對(duì)圖像中的某個(gè)元素進(jìn)行修改。比如，將龍變成恐龍，系統(tǒng)會(huì)根據(jù)新提示生成修改后的圖像。

　　圖像位置編碼:Omost通過將圖像劃分為729個(gè)不同的位置來簡(jiǎn)化圖像元素的描述。每個(gè)位置包括預(yù)定義的參數(shù)，如位置、偏移量和區(qū)域，確保圖像生成的準(zhǔn)確性和細(xì)致度。

　　子提示系統(tǒng):所有Omost LLM都經(jīng)過訓(xùn)練，可以提供嚴(yán)格定義的“子提示”，這些子提示可以獨(dú)立描述事物，并任意組合形成完整的提示。這種設(shè)計(jì)提高了提示詞的靈活性和準(zhǔn)確性。

　　注意力操縱:Omost使用注意力分?jǐn)?shù)調(diào)整技術(shù)來控制圖像生成過程中的區(qū)域關(guān)注度，實(shí)現(xiàn)更精細(xì)的圖像生成。通過調(diào)整注意力分?jǐn)?shù)，Omost能夠生成符合提示詞描述的圖像元素。

　　提示前綴樹:Omost引入提示前綴樹技術(shù)，通過合并子提示來改進(jìn)提示理解和描述。例如，可以將路徑“a cat and a dog. the cat on the sofa”作為提示，從而生成相應(yīng)圖像。

　　Omost的實(shí)現(xiàn)和使用

　　Omost項(xiàng)目基于Llama3和Phi3變體模型，用戶可以通過提供簡(jiǎn)單的提示詞來生成復(fù)雜的圖像。以下是該項(xiàng)目的幾個(gè)關(guān)鍵組件:

　　位置和偏移量:將圖像劃分為9個(gè)位置，每個(gè)位置進(jìn)一步劃分為81個(gè)偏移量，共有729個(gè)邊界框，用于描述圖像元素的位置。

　　distance_to_viewer和HTML_web_color_name:用于調(diào)整圖像元素的視覺表現(xiàn)，通過組合這些參數(shù)可以生成粗略的圖像構(gòu)圖。

　　注意力操縱:基于注意力分?jǐn)?shù)操作的baseline渲染器，通過調(diào)整注意力分?jǐn)?shù)來控制不同區(qū)域的模型關(guān)注度。

　　應(yīng)用和前景

　　Omost技術(shù)的推出，不僅簡(jiǎn)化了提示詞的編寫，還提高了圖像生成的精確度和靈活性。其應(yīng)用場(chǎng)景包括但不限于AI繪畫、圖像設(shè)計(jì)、廣告創(chuàng)意、教育等領(lǐng)域。用戶可以通過簡(jiǎn)單的提示詞生成復(fù)雜的圖像，為創(chuàng)意設(shè)計(jì)提供了強(qiáng)大的工具支持。