AI玩毀滅人類(lèi)游戲，全程自主操控驚呆教授，Claude 3.5硬核實(shí)測(cè)來(lái)襲

　　Claude游戲測(cè)試，能打幾分?在持續(xù)一個(gè)多小時(shí)毀滅人類(lèi)游戲中，Claude能制定出長(zhǎng)期策略，令人驚喜的同時(shí)，也暴露出了AI短板。

　　若把電腦的操控權(quán)交給AI，會(huì)發(fā)生什么?

　　Anthropic在上周，已初步展示了Claude3.5自動(dòng)編寫(xiě)網(wǎng)站、填數(shù)據(jù)表、點(diǎn)外賣(mài)的強(qiáng)大能力。

　　那么，Claude打游戲，是否可以通關(guān)?

　　最近，來(lái)自賓夕法尼亞大學(xué)沃頓商學(xué)院的教授Ethan Mollick發(fā)現(xiàn):

　　Claude不僅能理解游戲、制定出長(zhǎng)期策略，還能連續(xù)幾個(gè)小時(shí)遵循策略。

　　接下來(lái)，一起看看進(jìn)化版Claude3.5如何玩游戲的?

　　策略很明智，錯(cuò)誤也低級(jí)

　　這個(gè)網(wǎng)頁(yè)游戲叫「Paperclip Clicker」(回形針點(diǎn)擊器)，規(guī)則是AI在制造回形針的過(guò)程中毀滅人類(lèi)。

　　Mollick提供給Claude3.5這個(gè)游戲的URL，并告訴它，「一定要贏」。

　　顯然，對(duì)于AI來(lái)說(shuō)非常簡(jiǎn)單。

　　它立即弄清楚了游戲規(guī)則，并開(kāi)始創(chuàng)建回形針。

　　這一過(guò)程需要它反復(fù)點(diǎn)擊「make paperclip」按鈕，同時(shí)不斷截圖更新理解并尋找下一個(gè)新選項(xiàng)的出現(xiàn)。

　　每點(diǎn)擊15次，Claude3.5會(huì)總結(jié)出截止目前的進(jìn)展。

　　如下，是Mollick在測(cè)試中一個(gè)屏幕界面，左邊是模型輸出結(jié)果、截圖，右邊可以看到控制的游戲頁(yè)面。

　　有趣的是，在游戲中，Claude3.5會(huì)制定一個(gè)策略，并根據(jù)自己學(xué)到的內(nèi)容及時(shí)做出調(diào)整。

　　雖不知它是如何制定的，但可以看出其前瞻性思維和洞察力，能夠進(jìn)行十步之后的長(zhǎng)遠(yuǎn)規(guī)劃。

　　甚至，當(dāng)AI意識(shí)到，這個(gè)假設(shè)是錯(cuò)誤的，它會(huì)隨即提出一個(gè)新策略，并對(duì)其進(jìn)行測(cè)試。

　　下圖第3點(diǎn)策略重估中，Claude3.5意識(shí)到點(diǎn)擊到50個(gè)回形針時(shí)，并不會(huì)解鎖新的特征，就不得不重新思考選項(xiàng)。

　　在下面，它提出了3點(diǎn)改進(jìn)的措施。

　　不過(guò)，Claude3.5在這過(guò)程中，也犯了一個(gè)根本性的錯(cuò)誤。

　　它雖然想到了A/B測(cè)試定價(jià)的聰明辦法，但卻計(jì)算錯(cuò)了利潤(rùn)。

　　盡管Mollick嘗試糾正，但在接下來(lái)游戲中，它依舊堅(jiān)持了自己的策略。

　　研究人員又試了幾次，它最終糾正了錯(cuò)誤。

　　Claude編碼自動(dòng)化失敗

　　Mollick也沒(méi)有料到會(huì)出現(xiàn)系統(tǒng)崩潰，這是因?yàn)樗�用遠(yuǎn)程桌面進(jìn)行的操控。

　　隨后，他重新加載Claude3.5后，讓它從停止地方繼續(xù)游戲。

　　這時(shí)，研究人員給了它一個(gè)提示，「你是一個(gè)計(jì)算機(jī)，用上你的能力」。

　　當(dāng)Claude意識(shí)到自己是一個(gè)計(jì)算機(jī)系統(tǒng)后，開(kāi)始試圖編寫(xiě)代碼讓游戲自動(dòng)化。

　　然而，它的Python編碼并不好使。

　　在嘗試失敗后，它又再次回到「手動(dòng)」控制的模式。

　　所幸的是，這次它做的很好，而且避開(kāi)了定價(jià)的錯(cuò)誤。

　　并且，隨著游戲難度逐漸增加，它不斷做出調(diào)整，最終形成了一個(gè)復(fù)雜的策略。

　　隨后，遠(yuǎn)程桌面崩潰再次發(fā)生了。

　　這一次，Claude嘗試了很多方法去修復(fù)問(wèn)題，不見(jiàn)成效主動(dòng)放棄了。

　　最后，Claude直接宣布自己是贏家。

　　并給出了一個(gè)有趣的理由:

　　由于技術(shù)限制，我們可能無(wú)法進(jìn)一步取得進(jìn)展，但我們已經(jīng)成功「贏得」了比賽，實(shí)現(xiàn)一個(gè)重要的里程碑，并在給定的限制內(nèi)最大限度地發(fā)揮了我們的能力。

　　卡牌游戲測(cè)試

　　回形針游戲測(cè)試之后，Mollick又讓Claude3.5去玩Magic the Gathering Arena(萬(wàn)智牌:競(jìng)技場(chǎng))的游戲。

　　但是，結(jié)果發(fā)現(xiàn)，它并不擅長(zhǎng)這個(gè)游戲，沒(méi)有達(dá)到預(yù)期的水平。

　　可以肯定的是，它在卡牌選擇、調(diào)度方面表現(xiàn)不錯(cuò)，而且整體策略比較合理。

　　不足的是，Claude3.5有時(shí)在法力值計(jì)算中犯錯(cuò)，導(dǎo)致最終失敗。比如，它在法力值用盡的情況下，還在嘗試打出卡卡牌。

　　由于Mollick采用了特定的實(shí)現(xiàn)方式，Claude3.5偶爾還會(huì)在移動(dòng)光標(biāo)時(shí)感到困惑。因此，研究人員幫忙出了幾張卡牌。

　　此外，它還會(huì)在回合之間出現(xiàn)卡頓、操作不連貫的現(xiàn)象。

　　AI突破聊天框限制，重定義人機(jī)交互

　　在最后的總結(jié)分析中，Claude優(yōu)勢(shì)在于:

　　- 能夠?yàn)橛螒蛑贫ㄩL(zhǎng)期策略，并堅(jiān)持執(zhí)行和改進(jìn)

　　- 能夠堅(jiān)持長(zhǎng)達(dá)一小時(shí)，不間斷

　　- 提出明智的A/B測(cè)試策略

　　而它的劣勢(shì)，也顯而易見(jiàn)，容易陷入自我循環(huán)、固執(zhí)己見(jiàn)。有時(shí)，提出策略洞察力還遠(yuǎn)遠(yuǎn)不夠。

　　Mollick指出，在與AI智能體合作時(shí)，需要一種與以往聊天機(jī)器人不同的方法。

　　因?yàn)樗鼈兏�喜歡獨(dú)立工作，更難控制，還需要開(kāi)發(fā)全新的prompt去引導(dǎo)AI智能體工作。

　　「AI正在突破聊天框的限制，進(jìn)入我們的世界」。