近日,ControlNet的作者推出了一個全新的項目——Omost。這個項目對現(xiàn)有圖像模型的提示詞理解有著巨大的幫助。通過很短的提示詞,就可以生成非常詳細并且空間表現(xiàn)很準確的圖片。
Omost通過預定義的位置、偏移量和區(qū)域三大參數(shù)來簡化圖像元素的描述。這使得用戶能夠更直觀地指定圖像中各個元素的位置和大小,從而生成高質(zhì)量、符合預期的圖像。
使用Omost,你只需要輸入簡單的提示詞,LLM就可以生成圖像每個區(qū)域的簡單提示和位置信息。然后針對圖像九宮格的簡單提示詞繼續(xù)擴展,保證了每一部分都有非常詳細的描述。
比如,我輸入創(chuàng)建一個夢幻的空中城堡,然后它給我返回了一段非常詳細的圖像描述:
這張照片展示了一座漂浮在高空的夢幻空中城堡,
“城堡完全由玻璃和閃閃發(fā)光的金屬制成,反射出耀眼的陽光。”,
“精致的橋梁連接著各種塔,每座塔都裝飾著復雜的雕刻和發(fā)光的符文。”,
“城堡周圍的天空是柔和柔和色調(diào)的漸變,從黎明的粉紅色過渡到黃昏的藍色。”,
“下面是郁郁蔥蔥的森林、波光粼粼的河流和連綿起伏的山丘。”,
“整個場景籠罩在一種神奇的氛圍中,柔和空靈的光束照亮了城堡,營造出一種奇妙和迷人的感覺。”
然后點擊生成圖像,它就會將上面的提示轉(zhuǎn)化為圖像返給你:
效果還不錯。我們也可以將提示詞復制到MJ中生成。效果如下:
更牛逼的是,Omost已經(jīng)完成的圖像整體布局可以保留,如果你想修改畫面中的某個元素,也只需要一句提示詞即可。比如你原來的畫面主體是龍,你可以直接把龍變成恐龍。
項目亮點:
自動擴展提示詞:Omost能夠?qū)⒑唵蔚奶崾驹~拆解成詳細的描述,從圖像整體到局部元素的位置和大小均能詳細說明。例如輸入“a funny cartoon batman fights joker”,系統(tǒng)會生成蝙蝠俠與小丑戰(zhàn)斗的完整圖像。
高靈活性:生成的圖像布局可以保留,用戶可以通過簡單的提示詞對圖像中的某個元素進行修改。比如,將龍變成恐龍,系統(tǒng)會根據(jù)新提示生成修改后的圖像。
圖像位置編碼:Omost通過將圖像劃分為729個不同的位置來簡化圖像元素的描述。每個位置包括預定義的參數(shù),如位置、偏移量和區(qū)域,確保圖像生成的準確性和細致度。
子提示系統(tǒng):所有Omost LLM都經(jīng)過訓練,可以提供嚴格定義的“子提示”,這些子提示可以獨立描述事物,并任意組合形成完整的提示。這種設計提高了提示詞的靈活性和準確性。
注意力操縱:Omost使用注意力分數(shù)調(diào)整技術來控制圖像生成過程中的區(qū)域關注度,實現(xiàn)更精細的圖像生成。通過調(diào)整注意力分數(shù),Omost能夠生成符合提示詞描述的圖像元素。
提示前綴樹:Omost引入提示前綴樹技術,通過合并子提示來改進提示理解和描述。例如,可以將路徑“a cat and a dog. the cat on the sofa”作為提示,從而生成相應圖像。
Omost的實現(xiàn)和使用
Omost項目基于Llama3和Phi3變體模型,用戶可以通過提供簡單的提示詞來生成復雜的圖像。以下是該項目的幾個關鍵組件:
位置和偏移量:將圖像劃分為9個位置,每個位置進一步劃分為81個偏移量,共有729個邊界框,用于描述圖像元素的位置。
distance_to_viewer和HTML_web_color_name:用于調(diào)整圖像元素的視覺表現(xiàn),通過組合這些參數(shù)可以生成粗略的圖像構(gòu)圖。
注意力操縱:基于注意力分數(shù)操作的baseline渲染器,通過調(diào)整注意力分數(shù)來控制不同區(qū)域的模型關注度。
應用和前景
Omost技術的推出,不僅簡化了提示詞的編寫,還提高了圖像生成的精確度和靈活性。其應用場景包括但不限于AI繪畫、圖像設計、廣告創(chuàng)意、教育等領域。用戶可以通過簡單的提示詞生成復雜的圖像,為創(chuàng)意設計提供了強大的工具支持。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術、產(chǎn)品設計及應用方面的創(chuàng)新變革,全球領先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術和新品亮相,以敢為精神勇闖技術無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導,由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。