Meta發(fā)布類GPT-4o多模態(tài)模型Chameleon

　　Meta最近發(fā)布了一個名為Chameleon的多模態(tài)模型，它在多模態(tài)模型發(fā)展中設(shè)立了新的標(biāo)桿。Chameleon是一個早期融合的基于token的混合模態(tài)模型家族，能夠理解并生成任意順序的圖像和文本。它通過一個統(tǒng)一的Transformer架構(gòu)，使用文本、圖像和代碼混合模態(tài)完成訓(xùn)練，并且對圖像進行分詞化，生成交錯的文本和圖像序列。

　　Chameleon模型的創(chuàng)新之處在于其早期融合方法，所有處理流程從一開始就映射到一個共同的表示空間，讓模型能夠無縫處理文本和圖像。它在各種任務(wù)上展示了廣泛的能力，包括視覺問答、圖像標(biāo)注、文本生成、圖像生成和長形式混合模態(tài)生成。在圖像標(biāo)注任務(wù)上，Chameleon達到了最先進的性能，并且在文本任務(wù)上超越了Llama-2，與Mixtral8x7B和Gemini-Pro等模型競爭。

　　Chameleon模型在技術(shù)上面臨了重大挑戰(zhàn)，Meta的研究團隊引入了一系列架構(gòu)創(chuàng)新和訓(xùn)練技術(shù)。例如，他們開發(fā)了新的圖像分詞器，基于8192大小的codebook，將512×512的圖像編碼為1024個離散的token。此外，Chameleon使用了sentencepiece開源庫訓(xùn)練的BPE分詞器。

　　在預(yù)訓(xùn)練階段，Chameleon使用了混合模態(tài)數(shù)據(jù)，包括純文本、文本-圖像對以及文本和圖像交錯的多模態(tài)文檔。預(yù)訓(xùn)練分為兩個階段，第一階段無監(jiān)督學(xué)習(xí)，第二階段混合更高質(zhì)量的數(shù)據(jù)。

　　Chameleon模型在基準(zhǔn)評估中全面超越了Llama2，在常識推理、閱讀理解、數(shù)學(xué)問題和世界知識領(lǐng)域都取得了顯著的效果。在人工評估和安全測試中，Chameleon-34B的表現(xiàn)也遠遠超過了Gemini Pro和GPT-4V。

　　盡管Chameleon缺少GPT-4o中的語音能力，但Meta的產(chǎn)品管理總監(jiān)表示，他們非常自豪能夠支持這個團隊，并希望讓GPT-4o更接近開源社區(qū)。這可能意味著不久的將來，我們可能會得到一個開源版的GPT-4o。

　　Chameleon模型的發(fā)布，展示了Meta在多模態(tài)模型領(lǐng)域的重大進展，它不僅推動了多模態(tài)模型的發(fā)展，也為未來的研究和應(yīng)用提供了新的可能性。