蘋果公司發(fā)布新型機器學(xué)習(xí)語言模型MLLLLM Ferret-UI 用于理解應(yīng)用 UI 界面

　　蘋果公司近日發(fā)布了一款名為MLLLLM Ferret-UI的新型機器學(xué)習(xí)語言模型，旨在提升對移動應(yīng)用用戶界面(UI)的理解。這款模型經(jīng)過特別優(yōu)化，能夠處理移動UI屏幕上的各種任務(wù)，并具備指向、定位和推理等能力。業(yè)界普遍猜測，這一技術(shù)可能會被應(yīng)用在即將發(fā)布的iOS18中，提供類似通過Siri自動操作應(yīng)用界面的功能。

　　Ferret-UI模型是專為提高對移動UI屏幕理解而設(shè)計的MLLM。它的一個關(guān)鍵特點是“任何分辨率”技術(shù)，該技術(shù)通過放大細節(jié)來解決UI屏幕中小型對象的識別問題，從而顯著提高模型對UI元素的理解精度。

　　UI屏幕的理解是一個復(fù)雜的問題，因為它不僅要求模型能夠理解屏幕上的內(nèi)容，還要能夠識別和操作具體的UI元素。與傳統(tǒng)的自然圖像相比，UI屏幕通常具有更多的長寬比和更小的元素，這些元素對于模型來說是一個挑戰(zhàn)。

　　為了克服這些挑戰(zhàn)，F(xiàn)erret-UI采用了“任何分辨率”技術(shù)。該技術(shù)通過將屏幕分割成基于原始寬高比的子圖像，并對每個子圖像進行單獨編碼，從而在不丟失重要視覺信號的情況下放大細節(jié)。這種方法使得模型能夠更準確地識別和理解UI屏幕上的小型對象。

　　在訓(xùn)練Ferret-UI時，收集了從基礎(chǔ)UI任務(wù)到高級任務(wù)的廣泛數(shù)據(jù)樣本。這些樣本被格式化為帶有區(qū)域注釋的指令遵循格式，以便于模型進行精確的引用和定位。此外，為了提高模型的推理能力，還特別編制了一個包含詳細描述、感知/交互對話和功能推斷等高級任務(wù)的數(shù)據(jù)集。

　　Ferret-UI的架構(gòu)基于已經(jīng)在自然圖像的引用和定位任務(wù)中表現(xiàn)出色的Ferret模型。為了適應(yīng)UI屏幕的特點，F(xiàn)erret-UI進行了架構(gòu)調(diào)整，包括集成“任何分辨率”技術(shù)和使用預(yù)定義的網(wǎng)格配置來劃分全圖圖像。此外，為了全面評估模型的能力，還建立了一個包含所有研究任務(wù)的綜合測試基準。

　　在高級任務(wù)中，F(xiàn)erret-UI的對話能力表現(xiàn)突出，尤其是在詳細描述和交互對話任務(wù)中。模型能夠生成與視覺組件相關(guān)的詳細討論，并提出以特定目標為導(dǎo)向的行動計劃。此外，F(xiàn)erret-UI還能夠通過功能推斷來解釋屏幕的整體目的，顯示出在理解和生成自然語言指令方面的高級能力。