Meta最近發(fā)布了一個(gè)名為Chameleon的多模態(tài)模型,它在多模態(tài)模型發(fā)展中設(shè)立了新的標(biāo)桿。Chameleon是一個(gè)早期融合的基于token的混合模態(tài)模型家族,能夠理解并生成任意順序的圖像和文本。它通過一個(gè)統(tǒng)一的Transformer架構(gòu),使用文本、圖像和代碼混合模態(tài)完成訓(xùn)練,并且對圖像進(jìn)行分詞化,生成交錯(cuò)的文本和圖像序列。
Chameleon模型的創(chuàng)新之處在于其早期融合方法,所有處理流程從一開始就映射到一個(gè)共同的表示空間,讓模型能夠無縫處理文本和圖像。它在各種任務(wù)上展示了廣泛的能力,包括視覺問答、圖像標(biāo)注、文本生成、圖像生成和長形式混合模態(tài)生成。在圖像標(biāo)注任務(wù)上,Chameleon達(dá)到了最先進(jìn)的性能,并且在文本任務(wù)上超越了Llama-2,與Mixtral8x7B和Gemini-Pro等模型競爭。
Chameleon模型在技術(shù)上面臨了重大挑戰(zhàn),Meta的研究團(tuán)隊(duì)引入了一系列架構(gòu)創(chuàng)新和訓(xùn)練技術(shù)。例如,他們開發(fā)了新的圖像分詞器,基于8192大小的codebook,將512×512的圖像編碼為1024個(gè)離散的token。此外,Chameleon使用了sentencepiece開源庫訓(xùn)練的BPE分詞器。
在預(yù)訓(xùn)練階段,Chameleon使用了混合模態(tài)數(shù)據(jù),包括純文本、文本-圖像對以及文本和圖像交錯(cuò)的多模態(tài)文檔。預(yù)訓(xùn)練分為兩個(gè)階段,第一階段無監(jiān)督學(xué)習(xí),第二階段混合更高質(zhì)量的數(shù)據(jù)。
Chameleon模型在基準(zhǔn)評估中全面超越了Llama2,在常識推理、閱讀理解、數(shù)學(xué)問題和世界知識領(lǐng)域都取得了顯著的效果。在人工評估和安全測試中,Chameleon-34B的表現(xiàn)也遠(yuǎn)遠(yuǎn)超過了Gemini Pro和GPT-4V。
盡管Chameleon缺少GPT-4o中的語音能力,但Meta的產(chǎn)品管理總監(jiān)表示,他們非常自豪能夠支持這個(gè)團(tuán)隊(duì),并希望讓GPT-4o更接近開源社區(qū)。這可能意味著不久的將來,我們可能會(huì)得到一個(gè)開源版的GPT-4o。
Chameleon模型的發(fā)布,展示了Meta在多模態(tài)模型領(lǐng)域的重大進(jìn)展,它不僅推動(dòng)了多模態(tài)模型的發(fā)展,也為未來的研究和應(yīng)用提供了新的可能性。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國柏林國際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場的強(qiáng)大影響力。
近日,中國家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。