蘋果推出理解、轉(zhuǎn)化模型ReALM，性能超GPT-4

　　蘋果的研究人員推出了一種創(chuàng)新模型ReALM，可將參考解析問題轉(zhuǎn)化為語言建模問題，能極大提升AI助手處理很多描述復(fù)雜或模糊不清的內(nèi)容。

　　例如，我們網(wǎng)購(gòu)時(shí)選好了橘子、鴨梨、蘋果、橘子汽水、洗發(fā)水、短袖、拖鞋等物品，然后告訴AI助手只結(jié)算水果。這時(shí)傳統(tǒng)的AI助手可能會(huì)將橘子和橘子汽水混淆進(jìn)行一起結(jié)算。

　　而ReALM模型會(huì)重建手機(jī)或者PC等平臺(tái)上的屏幕關(guān)鍵信息，并將其轉(zhuǎn)化成一種可理解的文本，再用大語言模型去解讀用戶的需求，這樣就可以提升操作的準(zhǔn)確率避免出現(xiàn)錯(cuò)誤。

　　根據(jù)測(cè)試數(shù)據(jù)顯示，ReALM的性能全方位超越了同類模型MARRS;10億參數(shù)和30億參數(shù)在三項(xiàng)測(cè)試中超過GPT-4，Unseen測(cè)試幾乎差不多，這也提現(xiàn)了ReALM非常強(qiáng)悍的理解和轉(zhuǎn)化能力。

　　ReALM的核心方法是識(shí)別并重建屏幕(手機(jī)、PC、平板電腦等)，通過使用解析出的實(shí)體及其位置生成屏幕的純文本表示。

　　然后對(duì)屏幕上的實(shí)體部分進(jìn)行標(biāo)記，以便大語言模型能夠在上下文中了解實(shí)體出現(xiàn)的位置以及周圍的文本內(nèi)容。

　　屏幕解析

　　屏幕解析模塊是ReALM的核心模塊之一，主要負(fù)責(zé)從用戶的屏幕上識(shí)別相關(guān)信息包括文本框、按鈕、圖標(biāo)等元素，并提取它們的文本內(nèi)容、類型和位置信息等。這些信息被用來構(gòu)建一個(gè)結(jié)構(gòu)化的屏幕表示，為后續(xù)的參考解析提供基礎(chǔ)。

　　首先通過OCR（光學(xué)字符識(shí)別）在屏幕上識(shí)別和檢測(cè)文本實(shí)體，并將其轉(zhuǎn)換為可編輯的文本格式。

　　一旦文本被檢測(cè)到，屏幕解析模塊需要確定每個(gè)文本實(shí)體的類型，包括電話號(hào)碼、電子郵件地址、URL、日期時(shí)間等，再通過預(yù)先定義的模式匹配或機(jī)器學(xué)習(xí)模型進(jìn)行實(shí)體分類。

　　除了識(shí)別文本內(nèi)容和類型，屏幕解析模塊還需要確定每個(gè)實(shí)體在屏幕上的確切位置。通常是一個(gè)矩形區(qū)域，圍繞實(shí)體文本并定義了其在屏幕上的幾何位置。

　　此外，屏幕上的實(shí)體往往不是孤立存在的，可能與其他元素之間有關(guān)系，例如，按鈕、圖標(biāo)菜單選項(xiàng)等。

　　ReALM會(huì)用大語言模型去理解這些元素之間的關(guān)系，以便正確解釋、還原用戶的文本查詢或語音指令。

　　解析輸出

　　解析輸出的主要作用理解用戶查詢中的參考內(nèi)容，并找到與之匹配的正確實(shí)體，然后完成最終的操作輸出。

　　解析輸出會(huì)接收到屏幕解析、大語言模型等其他模塊的預(yù)測(cè)結(jié)果。這些結(jié)果通常是一個(gè)實(shí)體列表包括文本、URL、書籍、按鈕、圖標(biāo)等，每個(gè)實(shí)體都有一個(gè)與之相關(guān)的置信度分?jǐn)?shù)。

　　需要注意的是，如果用戶的查詢中有多個(gè)可能的參考實(shí)體(例如，開頭提到的那個(gè)橘子和橘子汽水的案例)，解析輸出模塊需要解決這些實(shí)體之間的沖突。所以，ReALM會(huì)比較置信度分?jǐn)?shù)、考慮實(shí)體類型和上下文信息等。

　　在確定了最終的實(shí)體后，解析輸出模塊需要將這些實(shí)體格式化為一種易于理解和操作的形式�？赡苁且粋�(gè)簡(jiǎn)單的文本回復(fù)，也可能是一個(gè)更復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，用于整體的操作輸出或提供給其他模塊使用。

　　ReALM還提供了一個(gè)可視化用戶交互模塊，主要負(fù)責(zé)接收用戶的查詢信息，然后將查詢和屏幕上的實(shí)體信息傳遞給大語言模型，并展示參考解析的結(jié)果。該模塊還能通過用戶的反饋機(jī)制，幫助模型進(jìn)行自我學(xué)習(xí)改進(jìn)其解析能力。