實時AI，最難躺平的戰(zhàn)場

　　本文來自于微信公眾號 機器之能(ID：almosthuman2017)，作者：機器之能。

　　有人預測2024將是視頻之年，其實今年已經看出端倪。

　　年終將至，圖像、視頻生成戰(zhàn)場仍然高潮迭起。

　　前陣子上線的 Pika Labs1.0炸了一波，Meta 又推出一個免費的 AI 圖像生成器，口碑不錯。

　　谷歌 DeepMind最新文生圖模型 Imagen2毫無懸念地登上了今天的頭條 。如果有內測資格，你會發(fā)現(xiàn)谷歌搜索居然可以直接生圖。

　　進入谷歌實驗室，測試中的谷歌搜索可以直接生圖了。

　　與此同時，之前熱度不減、但一直處在內測階段的 AI 設計工具 Krea AI Beta 版也終于開放，現(xiàn)在可以免費體驗(部分功能)。

　　與一般文生圖工具稍有不同的是，Krea AI 主打一個實時性。它是一個創(chuàng)意工具包，除了當紅的實時生成工具(Real-time Generation )、增強工具( upscale&enhance )，還有幾個特定功能的小工具。

　　背靠2，500多個 AI 模型，Krea AI可以應對不同藝術風格品味的需求。尤其是實時生成工具，憑借驚人的生成速度和對畫面效果的精準控制，備受矚目。

　　實時生成工具提供四種生成方式(界面左邊):文本到圖片、圖生圖、屏幕(比如截屏、壁紙)生圖、直接拍攝生圖。

　　還可以選擇幾種圖片效果(界面右邊)，比如沒有指定風格、插圖、電影、流光等。

　　中間是一個看板，也是體驗何謂「實時」的地方—— 輸入文本提示時，每敲一個單詞、或者刪除一個單詞，圖片內容都會立刻隨之變化。

　　比如，當我們輸入「一個叫尼爾斯的男孩」時，畫面是這樣的:

　　輸完 「一個叫尼爾斯的男孩兒，騎著一只飛翔的大鵝」時，畫面變成了這樣:

　　當我們繼續(xù)添加「帶條圍巾」時，畫面又變了:

　　與「文生圖」不同，「圖生圖」對作品效果控制力更好。因為除了文本，你還可以借助一些簡單的線條、色塊工具，涂鴉幾筆，勾勒作品的大致輪廓，供機器加強「理解」。

　　我們先用工具畫了個非常簡單的豬頭:

　　然后，輸入文本提示「一頭微笑的豬」，結果就出來了:

　　這是網友的作品，是不是很漂亮:

　　一位網友僅用四分鐘，就將自己孩子一樣的涂鴉變成了一幅逼真的 AI 肖像:

　　這是官方給到的展示:

　　正如前文所述，除了文本、涂鴉，你還可以通過捕獲設備屏幕的內容(比如網頁、視頻)或者用攝像頭獲取圖片來源，然后輸入文本提示，生成新的圖像作品。

　　實時生成圖片，難免模糊、分辨率低，你還想讓作品細節(jié)更完美，這時，Upscale & Enhance 就派上用場了—— AI 能以更高分辨率、甚至想象力重新創(chuàng)建視覺內容。因為是付費服務，我們選用了一些官方和網友的體驗案例:

　　你可以調節(jié) AI 發(fā)揮自己創(chuàng)造力的程度，如果很高的話，原圖被修改的幅度也會很大。比如，這個作品里，美女的臉都被換了。

　　這也是 AI 生成工具和傳統(tǒng)數(shù)學算法類潤色工具的主要區(qū)別，前者會用自己的想象力替換像素內容，而不是刻板遵守。

　　除了速度和效果，任何新設計工具要想具有生命力，還必須具有良好的兼容性——能與常見的設計工具無縫對接，比如Photoshop、Illustrator、Figma、Blender、Sketchfab 等。Krea 也是如此。

　　另外，Krea AI 還有一個引人注目的功能——能與 iPad 無縫連接�？�，這個孩子寥寥數(shù)筆就創(chuàng)造了蜘蛛俠:

　　另外，Krea AI 還有兩個特定功能的小工具，但都不提供實時生圖體驗。輸入要求后，需要等一定時間才能看到結果。

　　一個是 AI pattern ，輸入文本提示，再選擇你要的圖案，即可以生成帶有該圖案的圖像。

　　另一個是 Logo Illustration 。和 pattern 功能類似，只不過圖案變成了這里的 Logo，專門生成 Logo 形狀相關圖像。

　　寫到這里，還沒卷完。

　　其實，在 Krea AI 推出增強工具之前，他的競爭對手Magnific AI 已經發(fā)布了類似功能:

　　除了圖片，AI 的增強能力還被擴展到視頻上。

　　Upscale-A-Vide是南洋理工大學S-Lab 實驗室開發(fā)的一個用于視頻超分辨率的時間一致性擴散模型，結合低分辨率視頻和文本提示，能將低分辨率視頻轉換為高分辨率。

　　是啊，誰不想看到童年最愛卡通片的4k 版本?

　　實時生圖方面，不想 Krea AI 專美于前， Leonardo AI 前幾天也宣布推出實時繪圖工具「實時畫布」。

　　Freepik 的實時草圖到圖像生成器「Pikaso」也上線了，讓涂鴉立刻變成畫作:

　　更瘋狂的，Decohere AI 也預告了他們新的實時 AI 視頻生成平臺。