蘋果開(kāi)發(fā)出能看懂屏幕上下文的人工智能技術(shù)ReALM

　　蘋果開(kāi)發(fā)出了一項(xiàng)能夠?qū)崟r(shí)理解和識(shí)別用戶屏幕上顯示內(nèi)容的人工智能技術(shù)，而且無(wú)需依賴屏幕截圖或圖像數(shù)據(jù)輸入。這項(xiàng)技術(shù)被稱為ReALM(Real-time Analysis of Live Media)，它使得在與用戶交流的過(guò)程中，智能助手能夠看到用戶所看到的一切內(nèi)容，并理解用戶當(dāng)前正在進(jìn)行的活動(dòng)，從而隨時(shí)提供幫助。

　　ReALM技術(shù)通過(guò)將屏幕上的元素和布局轉(zhuǎn)換為文本形式，然后利用這些文本信息來(lái)解析用戶提出的與屏幕內(nèi)容相關(guān)的查詢或指令。比如用戶可以說(shuō)“打開(kāi)我屏幕上顯示的第一個(gè)應(yīng)用”或“讀取屏幕中央的新聞標(biāo)題”，即使實(shí)際上該智能助手并未“看到”用戶的屏幕。

　　這種能力特別適用于需要對(duì)屏幕上信息進(jìn)行快速反應(yīng)和處理的應(yīng)用場(chǎng)景，比如虛擬助手和輔助技術(shù)等。通過(guò)ReALM技術(shù)，智能助手可以更加智能地理解用戶的意圖，并提供更加準(zhǔn)確和個(gè)性化的幫助和服務(wù)。

　　這一舉措預(yù)示著 iOS18將于2024年6月的 WWDC 發(fā)布，屆時(shí)我們預(yù)計(jì)將推出全新的 Siri2.0，盡管目前尚不清楚該模型是否會(huì)及時(shí)集成到 Siri 中。這并不是蘋果最近幾個(gè)月在人工智能領(lǐng)域的首次嘗試，公司推出了一系列新模型、工具以及合作伙伴關(guān)系，所有這些都預(yù)示著一家準(zhǔn)備將人工智能作為業(yè)務(wù)中心的公司。

　　ReALM 是蘋果快速增長(zhǎng)的人工智能研究團(tuán)隊(duì)發(fā)布的最新消息，也是第一個(gè)專注于改進(jìn)現(xiàn)有模型的消息，使其更快、更智能和更高效。

　　該公司聲稱，甚至在某些任務(wù)上優(yōu)于 OpenAI 的 GPT-4。最新發(fā)布的詳細(xì)信息來(lái)自蘋果公司于周五發(fā)布的一篇新的開(kāi)放研究論文，首次由 Venture Beat 在周一報(bào)道。對(duì)于它是否將實(shí)際成為 iOS18的一部分，蘋果公司對(duì)此尚未置評(píng)。

　　ReALM 是如何工作的?

　　ReALM 與 GPT-4等模型相比要小得多。但這是因?yàn)樗�不需要做所有的事情。它的目的是為其他人工智能模型提供上下文，比�?Siri。

　　這是一個(gè)視覺(jué)模型，重新構(gòu)建屏幕并標(biāo)記每個(gè)屏幕實(shí)體及其位置。這創(chuàng)建了屏幕布局的基于文本的表示，可以傳遞給語(yǔ)音助手，為用戶請(qǐng)求提供上下文線索。

　　在準(zhǔn)確性方面，蘋果表示，盡管體積更小、速度更快，ReALM 在一些關(guān)鍵指標(biāo)上的表現(xiàn)與 GPT-4相當(dāng)好。

　　這對(duì) Siri 意味著什么?這意味著，如果未來(lái)版本的 ReALM 被部署到 Siri—— 甚至是這個(gè)版本 —— 那么當(dāng)用戶告訴它打開(kāi)這個(gè)應(yīng)用程序，或者告訴我這個(gè)圖像中這個(gè)詞的含義時(shí)，Siri 將更好地理解用戶的意圖。

　　它還將使 Siri 在不必完全部署像 Gemini 這樣的大型語(yǔ)言模型的情況下具有更多的對(duì)話能力。當(dāng)結(jié)合其他最近的蘋果研究論文，允許 “一次性” 響應(yīng) —— 即 AI 可以從單個(gè)提示中獲得答案 —— 這表明蘋果仍在大力投資于 AI 助手領(lǐng)域，而不僅僅依賴外部模型。