蘋果推出理解、轉(zhuǎn)化模型ReALM，性能超GPT-4

　　蘋果的研究人員推出了一種創(chuàng)新模型ReALM，可將參考解析問題轉(zhuǎn)化為語言建模問題，能極大提升AI助手處理很多描述復(fù)雜或模糊不清的內(nèi)容。

　　例如，我們網(wǎng)購時選好了橘子、鴨梨、蘋果、橘子汽水、洗發(fā)水、短袖、拖鞋等物品，然后告訴AI助手只結(jié)算水果。這時傳統(tǒng)的AI助手可能會將橘子和橘子汽水混淆進(jìn)行一起結(jié)算。

　　而ReALM模型會重建手機(jī)或者PC等平臺上的屏幕關(guān)鍵信息，并將其轉(zhuǎn)化成一種可理解的文本，再用大語言模型去解讀用戶的需求，這樣就可以提升操作的準(zhǔn)確率避免出現(xiàn)錯誤。

　　根據(jù)測試數(shù)據(jù)顯示，ReALM的性能全方位超越了同類模型MARRS;10億參數(shù)和30億參數(shù)在三項測試中超過GPT-4，Unseen測試幾乎差不多，這也提現(xiàn)了ReALM非常強(qiáng)悍的理解和轉(zhuǎn)化能力。

　　ReALM的核心方法是識別并重建屏幕(手機(jī)、PC、平板電腦等)，通過使用解析出的實體及其位置生成屏幕的純文本表示。

　　然后對屏幕上的實體部分進(jìn)行標(biāo)記，以便大語言模型能夠在上下文中了解實體出現(xiàn)的位置以及周圍的文本內(nèi)容。

　　屏幕解析

　　屏幕解析模塊是ReALM的核心模塊之一，主要負(fù)責(zé)從用戶的屏幕上識別相關(guān)信息包括文本框、按鈕、圖標(biāo)等元素，并提取它們的文本內(nèi)容、類型和位置信息等。這些信息被用來構(gòu)建一個結(jié)構(gòu)化的屏幕表示，為后續(xù)的參考解析提供基礎(chǔ)。

　　首先通過OCR（光學(xué)字符識別）在屏幕上識別和檢測文本實體，并將其轉(zhuǎn)換為可編輯的文本格式。

　　一旦文本被檢測到，屏幕解析模塊需要確定每個文本實體的類型，包括電話號碼、電子郵件地址、URL、日期時間等，再通過預(yù)先定義的模式匹配或機(jī)器學(xué)習(xí)模型進(jìn)行實體分類。

　　除了識別文本內(nèi)容和類型，屏幕解析模塊還需要確定每個實體在屏幕上的確切位置。通常是一個矩形區(qū)域，圍繞實體文本并定義了其在屏幕上的幾何位置。

　　此外，屏幕上的實體往往不是孤立存在的，可能與其他元素之間有關(guān)系，例如，按鈕、圖標(biāo)菜單選項等。

　　ReALM會用大語言模型去理解這些元素之間的關(guān)系，以便正確解釋、還原用戶的文本查詢或語音指令。

　　解析輸出

　　解析輸出的主要作用理解用戶查詢中的參考內(nèi)容，并找到與之匹配的正確實體，然后完成最終的操作輸出。

　　解析輸出會接收到屏幕解析、大語言模型等其他模塊的預(yù)測結(jié)果。這些結(jié)果通常是一個實體列表包括文本、URL、書籍、按鈕、圖標(biāo)等，每個實體都有一個與之相關(guān)的置信度分?jǐn)?shù)。

　　需要注意的是，如果用戶的查詢中有多個可能的參考實體(例如，開頭提到的那個橘子和橘子汽水的案例)，解析輸出模塊需要解決這些實體之間的沖突。所以，ReALM會比較置信度分?jǐn)?shù)、考慮實體類型和上下文信息等。

　　在確定了最終的實體后，解析輸出模塊需要將這些實體格式化為一種易于理解和操作的形式�？赡苁且粋�簡單的文本回復(fù)，也可能是一個更復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，用于整體的操作輸出或提供給其他模塊使用。

　　ReALM還提供了一個可視化用戶交互模塊，主要負(fù)責(zé)接收用戶的查詢信息，然后將查詢和屏幕上的實體信息傳遞給大語言模型，并展示參考解析的結(jié)果。該模塊還能通過用戶的反饋機(jī)制，幫助模型進(jìn)行自我學(xué)習(xí)改進(jìn)其解析能力。