中山大學(xué)“梗王”大模型CLoT 靠講笑話入選頂會CVPR

　　中山大學(xué)HCP實驗室聯(lián)合Sea AI Lab和哈佛大學(xué)等單位開展的一項研究，成功地讓大型人工智能模型通過講笑話的方式，探索多模態(tài)大模型的創(chuàng)造力，并因此獲得了計算機(jī)視覺和模式識別領(lǐng)域的頂級會議CVPR的認(rèn)可。

　　這項研究的關(guān)鍵在于使用來自日本的“大喜利”(Oogiri)創(chuàng)新響應(yīng)游戲作為數(shù)據(jù)源。傳統(tǒng)的大模型，如GPT-4，處理這類任務(wù)時往往表現(xiàn)得過于正經(jīng)，缺乏幽默感。而中山大學(xué)的“梗王大模型”則能夠根據(jù)圖像或文本輸入，生成具有幽默感和創(chuàng)意的響應(yīng)。

　　“大喜利”游戲要求玩家對提供的多模態(tài)內(nèi)容(如問題、圖像等)給出幽默和創(chuàng)意的回應(yīng)。例如，一張老人向年輕人求助的圖片，傳統(tǒng)回應(yīng)可能是詢問路線，而“大喜利”風(fēng)格的回應(yīng)可能是請求幫助解開手銬，這種出人意料的回答具有強(qiáng)烈的幽默沖擊感。

　　研究團(tuán)隊采用了一種新的非順序、創(chuàng)造性思維范式——跳躍思維(Leap-of-Thought，LoT)，以及一套基于此范式的訓(xùn)練方法CLoT。CLoT包括關(guān)聯(lián)性指令微調(diào)和探索性自我調(diào)整兩個階段，旨在激發(fā)模型的創(chuàng)新響應(yīng)能力。

　　性能評估方面，CLoT在Oogiri-GO數(shù)據(jù)集上的選擇題和排序題評估中，顯著提高了多模態(tài)大模型的性能，并超越了包括GPT-4在內(nèi)的其他先進(jìn)模型。用戶調(diào)查也證實了CLoT在生成幽默內(nèi)容方面的優(yōu)越性。此外，CLoT在其他任務(wù)如“看云猜物CGG”和“發(fā)散思維測試DAT”中也展現(xiàn)了良好的泛化能力。

　　中山大學(xué)人機(jī)物智能融合實驗室(HCP Lab)由林倞教授于2010年創(chuàng)立，專注于多模態(tài)內(nèi)容理解、因果及認(rèn)知推理、具身學(xué)習(xí)等領(lǐng)域的研究，并取得了豐富的學(xué)術(shù)成果。此次研究的成功，不僅展示了該實驗室在AI領(lǐng)域的創(chuàng)新能力，也為未來的人工智能研究提供了新的思路和方法。