GPT-3.5在圖靈測(cè)試中敗給上世紀(jì)六十年代研發(fā)的AI

　　12月5日消息，來(lái)自加利福尼亞大學(xué)圣迭戈分校的 2 位研究人員在一篇題為「GPT-4 可以通過(guò)圖靈測(cè)試嗎」的研究中，對(duì) GPT-4、GPT-3.5、人類和上世紀(jì) 60 年代麻省理工團(tuán)隊(duì)開(kāi)發(fā)的史上第一個(gè)基于規(guī)則的聊天機(jī)器人進(jìn)行了圖靈測(cè)試。

　　GPT-3.5 根據(jù)不同的提示，成功率最高只有 14%。ELIZA 在這次研究中取得了相對(duì)較好的成績(jī)，成功率達(dá)到了 27%。GPT-4 取得了 41% 的成功率，僅次于人類得分(63%)。紐約大學(xué)心理學(xué)和神經(jīng)科學(xué)教授 Gary Marcus 對(duì)此調(diào)侃道，通過(guò)圖靈測(cè)試的夢(mèng)想落空了。

　　作者在認(rèn)真研究了為什么測(cè)試者將 ELIZA 認(rèn)定是人類的原因，再次印證了一個(gè)結(jié)論：長(zhǎng)久以來(lái)，「圖靈測(cè)試」成為了判斷計(jì)算機(jī)是否具有「智能」的核心命題。

　　但圖靈測(cè)試并不應(yīng)該是一個(gè)判斷 AI 智能高低的測(cè)試。不能因?yàn)?ELIZA 比 ChatGPT 表現(xiàn)好，就認(rèn)為這個(gè) 1966 年的基于規(guī)則的 AI 系統(tǒng)智能比 ChatGPT 強(qiáng)。

　　因?yàn)闇y(cè)試者判斷 ELIZA 是人類的最重要的原因居然是：我問(wèn)他啥他都不想說(shuō)，又沒(méi)有表現(xiàn)得很熱情或者很嘮叨，我就沒(méi)見(jiàn)過(guò)這么差的 AI，所以它一定是一個(gè)不耐煩的人類。