2 月 8 日消息,相比較微軟的風(fēng)生水起,蘋果公司在 AI 領(lǐng)域的布局顯得低調(diào)很多,但這并不意味著蘋果在該領(lǐng)域就沒有絲毫建樹。蘋果公司近日發(fā)布了名為“MGIE”的新型開源人工智能模型,它可以根據(jù)自然語言指令編輯圖像。
MGIE 的全稱是 MLLM-Guided Image Editing,利用多模態(tài)大型語言模型(MLLM)解釋用戶指令并執(zhí)行像素級(jí)操作。MGIE 可以理解用戶下達(dá)的自然語言命令,進(jìn)行 Photoshop 風(fēng)格的修改、全局照片優(yōu)化和局部編輯等操作。
蘋果公司和加州大學(xué)圣巴巴拉分校研究人員合作,在 2024 年國際學(xué)習(xí)表征會(huì)議(ICLR)上發(fā)表 MGIE 相關(guān)研究成果,而 ICLR 是人工智能研究的頂級(jí)會(huì)議之一。
介紹 MGIE 之前,IT之家先來介紹下 MLLM。MLLM 是一種強(qiáng)大的人工智能模型,可以同時(shí)處理文本和圖像,從而增強(qiáng)基于指令的圖像編輯能力。MLLMs 在跨模態(tài)理解和視覺感知響應(yīng)生成方面表現(xiàn)出卓越的能力,但尚未廣泛應(yīng)用于圖像編輯任務(wù)。
MGIE 通過兩種方式將 MLLMs 集成到圖像編輯過程中:首先,它使用 MLLMs 從用戶輸入中推導(dǎo)出富有表現(xiàn)力的指令。這些指令簡潔明了,為編輯過程提供了明確的指導(dǎo)。
例如,當(dāng)輸入“讓天空更藍(lán)”時(shí),MGIE 可以生成“將天空區(qū)域的飽和度提高 20%”的指令。
其次,它使用 MLLM 生成視覺想象力,即所需編輯的潛在表征。這一表征捕捉了編輯的本質(zhì),可用于指導(dǎo)像素級(jí)操作。MGIE 采用了一種新穎的端到端訓(xùn)練方案,可聯(lián)合優(yōu)化指令推導(dǎo)、視覺想象和圖像編輯模塊。
MGIE 可以處理各種編輯情況,從簡單的顏色調(diào)整到復(fù)雜的對(duì)象操作。該模型還可以根據(jù)用戶的偏好執(zhí)行全局和局部編輯。MGIE 的部分特性和功能包括:
基于指令的表達(dá)式編輯:MGIE 可以生成簡潔明了的說明,有效指導(dǎo)編輯過程。這不僅能提高編輯質(zhì)量,還能增強(qiáng)用戶的整體體驗(yàn)。
Photoshop 風(fēng)格修改:MGIE 可以執(zhí)行常見的 Photoshop 風(fēng)格編輯,如裁剪、調(diào)整大小、旋轉(zhuǎn)、翻轉(zhuǎn)和添加濾鏡。該模型還可以應(yīng)用更高級(jí)的編輯,如更改背景、添加或刪除對(duì)象以及混合圖像。
全局照片優(yōu)化:MGIE 可以優(yōu)化照片的整體質(zhì)量,如亮度、對(duì)比度、清晰度和色彩平衡。該模型還能應(yīng)用素描、繪畫和漫畫等藝術(shù)效果。
局部編輯:MGIE 可以編輯圖像中的特定區(qū)域或?qū)ο,如臉部、眼睛、頭發(fā)、衣服和配飾。模型還可以修改這些區(qū)域或?qū)ο蟮膶傩,如形狀、大小、顏色、紋理和風(fēng)格。
MGIE 是 GitHub 上的一個(gè)開源項(xiàng)目,用戶可以在這里找到代碼、數(shù)據(jù)和預(yù)訓(xùn)練模型。該項(xiàng)目還提供了一個(gè)演示筆記本,展示如何使用 MGIE 完成各種編輯任務(wù)。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會(huì)上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽成功舉辦。