蘋果開發(fā)出能看懂屏幕上下文的人工智能技術(shù)ReALM

　　蘋果開發(fā)出了一項能夠?qū)崟r理解和識別用戶屏幕上顯示內(nèi)容的人工智能技術(shù)，而且無需依賴屏幕截圖或圖像數(shù)據(jù)輸入。這項技術(shù)被稱為ReALM(Real-time Analysis of Live Media)，它使得在與用戶交流的過程中，智能助手能夠看到用戶所看到的一切內(nèi)容，并理解用戶當前正在進行的活動，從而隨時提供幫助。

　　ReALM技術(shù)通過將屏幕上的元素和布局轉(zhuǎn)換為文本形式，然后利用這些文本信息來解析用戶提出的與屏幕內(nèi)容相關(guān)的查詢或指令。比如用戶可以說“打開我屏幕上顯示的第一個應(yīng)用”或“讀取屏幕中央的新聞標題”，即使實際上該智能助手并未“看到”用戶的屏幕。

　　這種能力特別適用于需要對屏幕上信息進行快速反應(yīng)和處理的應(yīng)用場景，比如虛擬助手和輔助技術(shù)等。通過ReALM技術(shù)，智能助手可以更加智能地理解用戶的意圖，并提供更加準確和個性化的幫助和服務(wù)。

　　這一舉措預(yù)示著 iOS18將于2024年6月的 WWDC 發(fā)布，屆時我們預(yù)計將推出全新的 Siri2.0，盡管目前尚不清楚該模型是否會及時集成到 Siri 中。這并不是蘋果最近幾個月在人工智能領(lǐng)域的首次嘗試，公司推出了一系列新模型、工具以及合作伙伴關(guān)系，所有這些都預(yù)示著一家準備將人工智能作為業(yè)務(wù)中心的公司。

　　ReALM 是蘋果快速增長的人工智能研究團隊發(fā)布的最新消息，也是第一個專注于改進現(xiàn)有模型的消息，使其更快、更智能和更高效。

　　該公司聲稱，甚至在某些任務(wù)上優(yōu)于 OpenAI 的 GPT-4。最新發(fā)布的詳細信息來自蘋果公司于周五發(fā)布的一篇新的開放研究論文，首次由 Venture Beat 在周一報道。對于它是否將實際成為 iOS18的一部分，蘋果公司對此尚未置評。

　　ReALM 是如何工作的?

　　ReALM 與 GPT-4等模型相比要小得多。但這是因為它不需要做所有的事情。它的目的是為其他人工智能模型提供上下文，比如 Siri。

　　這是一個視覺模型，重新構(gòu)建屏幕并標記每個屏幕實體及其位置。這創(chuàng)建了屏幕布局的基于文本的表示，可以傳遞給語音助手，為用戶請求提供上下文線索。

　　在準確性方面，蘋果表示，盡管體積更小、速度更快，ReALM 在一些關(guān)鍵指標上的表現(xiàn)與 GPT-4相當好。

　　這對 Siri 意味著什么?這意味著，如果未來版本的 ReALM 被部署到 Siri—— 甚至是這個版本 —— 那么當用戶告訴它打開這個應(yīng)用程序，或者告訴我這個圖像中這個詞的含義時，Siri 將更好地理解用戶的意圖。

　　它還將使 Siri 在不必完全部署像 Gemini 這樣的大型語言模型的情況下具有更多的對話能力。當結(jié)合其他最近的蘋果研究論文，允許 “一次性” 響應(yīng) —— 即 AI 可以從單個提示中獲得答案 —— 這表明蘋果仍在大力投資于 AI 助手領(lǐng)域，而不僅僅依賴外部模型。