多模態(tài)模型再進化，已學(xué)會看圖玩撲克、算“12點”

　　在科技領(lǐng)域，多模態(tài)模型的決策能力一直是研究的熱點。最近，UC伯克利等高校的研究團隊提出了一種名為RL4VLM的全新強化學(xué)習(xí)框架，成功地提升了多模態(tài)大模型在決策任務(wù)上的表現(xiàn)。該模型在無需人類反饋的情況下，通過強化學(xué)習(xí)微調(diào)，已經(jīng)學(xué)會了看圖玩撲克、算“12點”等任務(wù)，并且其表現(xiàn)超越了GPT-4v。

　　研究團隊由多位重量級人物組成，包括圖靈獎得主、Meta首席AI科學(xué)家、紐約大學(xué)教授LeCun，UC伯克利的Sergry Levine教授，以及香港大學(xué)數(shù)據(jù)科學(xué)學(xué)院院長、UC伯克利教授馬毅等。他們的研究成果已經(jīng)以論文預(yù)印本的形式發(fā)布，并且相關(guān)代碼已在GitHub上開源。

　　RL4VLM的核心是一種新的算法框架，它直接使用強化學(xué)習(xí)方法對多模態(tài)大模型進行微調(diào)。這種方法的一個顯著特點是，獎勵信息直接來源于環(huán)境，不再依賴于人類反饋。這不僅提高了效率，也賦予了多模態(tài)模型自主決策的能力。

　　為了全面評估RL4VLM的效果，研究團隊設(shè)計了兩類評測任務(wù)。第一類任務(wù)主要測試模型利用圖像中的細(xì)粒度視覺信息進行決策的能力，包括數(shù)字識別和邏輯推理。第二類任務(wù)則主要考察模型在具身智能環(huán)境中的視覺語義推理能力。

　　具體到任務(wù)，研究團隊設(shè)計了數(shù)軸(Numberline)、簡易12點(EZPoint)、24點(Point24)、21點(Blackjack)和ALFWorld等五個任務(wù)。其中，ALFWorld是微軟等于2020年提出的開源具身智能任務(wù)集，而其他任務(wù)則是研究團隊的原創(chuàng)設(shè)計。

　　實驗結(jié)果令人鼓舞。經(jīng)過強化學(xué)習(xí)微調(diào)的多模態(tài)模型，在決策問題上的表現(xiàn)不僅超過了商用模型GPT-4v，同時也超越了傳統(tǒng)的監(jiān)督微調(diào)方法。特別是在ALFWorld的具身智能任務(wù)中，RL4VLM模型取得了最高的平均分，尤其在單物體拾取任務(wù)上表現(xiàn)突出。

　　RL4VLM的工作流程是這樣的:首先，系統(tǒng)將任務(wù)的當(dāng)前狀態(tài)以圖片和文字描述的形式輸入多模態(tài)大模型，并要求模型輸出一段思維鏈，然后以文字形式輸出要執(zhí)行的動作。動作信息輸入環(huán)境后，獲得獎勵值，該獎勵值將用于強化學(xué)習(xí)訓(xùn)練。

　　為了適應(yīng)RL訓(xùn)練框架，研究人員對模型的輸入和輸出進行了調(diào)整。具體來說，將任務(wù)圖像和任務(wù)描述的文本合并后，直接作為當(dāng)前任務(wù)的狀態(tài)輸入。在獲得模型的文字輸出后，將其轉(zhuǎn)化為與環(huán)境交互的動作指令。

　　消融實驗結(jié)果表明，使用思維鏈提示過程對任務(wù)成功率至關(guān)重要。這項研究不僅為多模態(tài)模型的性能提升提供了新的思路，也為未來人工智能的發(fā)展開辟了新的可能性。