AI助手Moemate：讓大模型“閱讀” 你電腦屏幕上的內(nèi)容

　　Moemate 是一款應(yīng)用程序，它可以讓大型語言模型(包括 Anthropic 的 Claude 和 GPT-4)“閱讀” 你電腦屏幕上的內(nèi)容。

　　Moemate 是一款運(yùn)行在 macOS、Windows 和 Linux 設(shè)備上的助手，以動漫風(fēng)格的化身形式呈現(xiàn)，旨在為用戶提供并朗讀他們所提出的任何問題的最佳答案。

　　與其他聊天機(jī)器人相比，Moemate 的特點(diǎn)在于它可以直接查看屏幕上發(fā)生的事情。然而，給這樣的軟件訪問你所看到和做的一切的權(quán)限，即使在最好的情況下，也存在相當(dāng)大的風(fēng)險(xiǎn)。

　　Moemate 提供了強(qiáng)大的自定義功能，用戶可以自定義化身的動畫、合成語音和回答。此外，用戶還可以構(gòu)建自定義角色模型并導(dǎo)入，以及導(dǎo)出可供其他 Moemate 用戶導(dǎo)入和使用的化身格式。Moemate 的 “個(gè)性” 由選擇的文本生成模型驅(qū)動，而合成語音可以選擇 ElevenLabs、Microsoft Azure 或 Moemate 自己的文本到語音引擎。

　　Moemate 通過為每個(gè)化身提供一個(gè)簡介來 “根據(jù)地” 所選的文本生成模型，并試圖防止其偏離軌道。化身的簡介可以從頭開始編寫和編輯。Moemate 還提供了一些面向 Twitch 的功能，如將聊天窗口置于焦點(diǎn)和顯示頻道訂閱者人數(shù)。

　　Moemate 的屏幕捕獲功能可以讓它看到并分析你的屏幕內(nèi)容。無論選擇哪個(gè)文本生成模型，Moemate 都可以回答關(guān)于屏幕上處于焦點(diǎn)的窗口的問題。雖然系統(tǒng)并不完美，但用戶可以使用 Moemate 總結(jié)食譜和網(wǎng)頁，獲取復(fù)雜主題的概要，甚至在游戲中提供建議。

　　然而，Moemate 的效果有時(shí)不盡人意。它無法準(zhǔn)確預(yù)測自己將關(guān)注的內(nèi)容，有時(shí)會引用背景窗口的內(nèi)容，有時(shí)則完全無法看到窗口的內(nèi)容。此外，Moemate 有時(shí)會偏離主題，給出奇怪的回答。有些內(nèi)置命令也有問題，如調(diào)節(jié)語音音量只能調(diào)節(jié)應(yīng)用內(nèi)音量而非整個(gè)系統(tǒng)音量。

　　盡管存在問題，Moemate 仍然有吸引力。多模態(tài)分析(結(jié)合文本、圖像和其他媒體分析)顯然具有強(qiáng)大的功能，尤其是在運(yùn)行在 PC 上的助手的情況下。未來的助手可能會類似 Moemate，結(jié)合屏幕理解和文本生成模型，從而提高工作效率。Moemate 給我們展示了未來的一瞥，盡管還有很多問題，但仍然引人入勝。