下單前先比價(jià)不花冤枉錢 同款圖書京東價(jià)低于抖音6折日媒感慨中國電動(dòng)汽車/智駕遙遙領(lǐng)先:本田、日產(chǎn)、三菱合并也沒戲消委會(huì)吹風(fēng)機(jī)品質(zhì)檢測結(jié)果揭曉 徠芬獨(dú)占鰲頭 共話新質(zhì)營銷力,2024梅花數(shù)據(jù)峰會(huì)圓滿落幕索尼影像專業(yè)服務(wù) PRO Support 升級(jí),成為會(huì)員至少需注冊 2 臺(tái) α 全畫幅相機(jī)、3 支 G 大師鏡頭消息稱vivo加碼電池軍備競賽:6500mAh 旗艦機(jī)+7500mAh中端機(jī)寶馬M8雙門轎跑車明年年初將停產(chǎn),后續(xù)無2026款車型比亞迪:2025 款漢家族車型城市領(lǐng)航智駕功能開啟內(nèi)測雷神預(yù)告2025年首次出席CES 將發(fā)布三款不同技術(shù)原理智能眼鏡realme真我全球首發(fā)聯(lián)發(fā)科天璣 8400 耐玩戰(zhàn)神共創(chuàng)計(jì)劃iQOO Z9 Turbo長續(xù)航版手機(jī)被曝電池加大到6400mAh,搭驍龍 8s Gen 3處理器普及放緩 銷量大跌:曝保時(shí)捷將重新評(píng)估電動(dòng)汽車計(jì)劃來京東參與榮耀Magic7 RSR 保時(shí)捷設(shè)計(jì)預(yù)售 享365天只換不修國補(bǔ)期間電視迎來換機(jī)潮,最暢銷MiniLED品牌花落誰家?美團(tuán)旗下微信社群團(tuán)購業(yè)務(wù)“團(tuán)買買”宣布年底停運(yùn)消息稱微軟正與第三方廠商洽談,試圖合作推出Xbox游戲掌機(jī)設(shè)備在海外,要再造一個(gè)京東物流?消息稱蘋果正為AirPods開發(fā)多項(xiàng)健康功能,包括心率監(jiān)測和溫度感應(yīng)一加 Ace 5系列將搭載全新游戲助手:大幅提升游戲體驗(yàn)東芝全部業(yè)務(wù)實(shí)現(xiàn)盈利,退市裁員重組后終于賺錢
  • 首頁 > 云計(jì)算頻道 > 大模型

    Meta首發(fā)「變色龍」挑戰(zhàn)GPT-4o,34B參數(shù)引領(lǐng)多模態(tài)革命!10萬億token訓(xùn)練刷新SOTA

    2024年05月20日 09:43:51   來源:新智元公眾號(hào)

      GPT-4o發(fā)布不到一周,首個(gè)敢于挑戰(zhàn)王者的新模型誕生!最近,Meta團(tuán)隊(duì)發(fā)布了「混合模態(tài)」Chameleon,可以在單一神經(jīng)網(wǎng)絡(luò)無縫處理文本和圖像。10萬億token訓(xùn)練的34B參數(shù)模型性能接近GPT-4V,刷新SOTA。

      GPT-4o的橫空出世,再次創(chuàng)立了一個(gè)多模態(tài)模型發(fā)展的新范式!

      為什么這么說?

      OpenAI將其稱為「首個(gè)『原生』多模態(tài)」模型,意味著GPT-4o與以往所有的模型,都不盡相同。

      傳統(tǒng)的多模態(tài)基礎(chǔ)模型,通常為每種模態(tài)采用特定的「編碼器」或「解碼器」,將不同的模態(tài)分離開。

      然而,這種方法限制了模型,有效融合跨模態(tài)信息的能力。

      官博介紹,GPT-4o是「首個(gè)端到端」訓(xùn)練的,跨越文本、視覺和音頻的模型,所有的輸入和輸出,都由單個(gè)神經(jīng)網(wǎng)絡(luò)處理。

      而現(xiàn)在,業(yè)界首個(gè)敢于挑戰(zhàn)GPT-4o的模型現(xiàn)身了!

      最近,來自Meta團(tuán)隊(duì)的研究人員發(fā)布了「混合模態(tài)基座模型」——Chameleon(變色龍)。

      與GPT-4o一樣,Chameleon采用了統(tǒng)一的Transformer架構(gòu),使用文本、圖像和代碼混合模態(tài)完成訓(xùn)練。

      以類似文本生成的方式,對(duì)圖像進(jìn)行離散「分詞化」(tokenization),最終生成和推理交錯(cuò)的文本和圖像序列。

      這種「早期融合」的方法,所有的pipeline從一開始就被映射到一個(gè)共同的表示空間,因此模型可以無縫處理文本和圖像。

      Chameleon生成的多模態(tài)內(nèi)容

      與此同時(shí),這樣的設(shè)計(jì),為模型訓(xùn)練帶來了重大的技術(shù)挑戰(zhàn)。

      對(duì)此,Meta研究團(tuán)隊(duì)引入了一系列架構(gòu)創(chuàng)新和訓(xùn)練技術(shù)。

      結(jié)果表明,在純文本任務(wù)中,340億參數(shù)Chameleon(用10萬億多模態(tài)token訓(xùn)練)的性能和Gemini-Pro相當(dāng)。

      在視覺問答和圖像標(biāo)注基準(zhǔn)上,刷新SOTA,性能接近GPT-4V。

      不過,不論是GPT-4o,還是Chameleon,都是新一代「原生」端到端的多模態(tài)基礎(chǔ)模型早期探索。

      GTC2024大會(huì)上,老黃描述了邁向AGI最終愿景的重要一步——各種模態(tài)互通有無。

      下一個(gè)開源GPT-4o要來?

      Chameleon的發(fā)布,簡直就是對(duì)GPT-4o做出最快的反應(yīng)。

      有網(wǎng)友表示,token進(jìn),token出,簡直無法去解釋。

      甚至還有人稱,在GPT-4o誕生之后發(fā)布的非常扎實(shí)的研究,OOS將迎頭趕上。

      不過,目前Chameleon模型支持生成的模態(tài),主要是圖像文本。缺少了GPT-4o中的語音能力。

      網(wǎng)友稱,然后只需添加另一種模態(tài)(音頻),擴(kuò)大訓(xùn)練數(shù)據(jù)集,「烹飪」一段時(shí)間,我們就會(huì)得到GPT-4o...?

      Meta的產(chǎn)品管理總監(jiān)稱,「我非常自豪能夠給予這個(gè)團(tuán)隊(duì)支持。讓我們朝著讓GPT-4o更接近開源社區(qū)的方向邁進(jìn)一步」。

      或許用不了多久,我們就得到了一個(gè)開源版的GPT-4o。

      接下來,一起看看Chameleon模型的技術(shù)細(xì)節(jié)。

      技術(shù)架構(gòu)

      Meta在Chameleon的論文中首先表示:很多新近發(fā)布的模型依舊沒有將「多模態(tài)」貫徹到底。

      這些模型雖然采用了端到端的訓(xùn)練方式,但仍然單獨(dú)對(duì)不同模態(tài)進(jìn)行建模,使用分開的編碼器或解碼器。

      如開頭所述,這種做法限制了模型跨模態(tài)信息的能力,也難以生成包含任意形式信息的、真正的多模態(tài)文檔。

      為了改進(jìn)這種缺陷,Meta提出了一系列「混合模態(tài)」的基座模型Chameleon——能夠生成文本和圖像內(nèi)容任意交織在一起的內(nèi)容。

      Chameleon的生成結(jié)果,文本和圖像交錯(cuò)出現(xiàn)

      所謂「混合模態(tài)」基座模型,指Chameleon不僅使用了端到端的方式從頭開始訓(xùn)練,而且訓(xùn)練時(shí)將所有模態(tài)的信息交織混合在一起,并使用統(tǒng)一的架構(gòu)處理。

      如何將所有模態(tài)的信息混合在同一個(gè)模型架構(gòu)中表示?

      答案還是「token」。

      只要全部表示為token,就可以把所有所有模態(tài)的信息映射到同一個(gè)向量空間中,讓Transformer無縫處理。

      但是,這種做法會(huì)帶來優(yōu)化穩(wěn)定性以及模型擴(kuò)展性方面的技術(shù)挑戰(zhàn)。

      為了解決這些問題,論文相應(yīng)地對(duì)模型架構(gòu)進(jìn)行創(chuàng)新,并使用了一些訓(xùn)練技巧,包括QK歸一化和Zloss等。

      同時(shí),論文也提出了將純文本LLM微調(diào)為多模態(tài)模型的方法。

      圖像「分詞器」

      要將所有模態(tài)全部表示為token,首先需要一個(gè)強(qiáng)大的分詞器。

      為此,Chameleon的團(tuán)隊(duì)在Meta之前一篇論文的基礎(chǔ)上開發(fā)了一種新的圖像分詞器,基于大小為8192的codebook,將規(guī)格為512×512的圖像編碼為1024個(gè)離散的token。

      文字分詞器則基于谷歌開發(fā)的sentencepiece開源庫,訓(xùn)練了一個(gè)同時(shí)含有65536個(gè)文本token與8192個(gè)圖像token的BPE分詞器。

      預(yù)訓(xùn)練

      為了徹底激發(fā)「混合模態(tài)」的潛力,訓(xùn)練數(shù)據(jù)也是將不同模態(tài)打散、混合呈現(xiàn)給模型的,既有純文本、文本-圖像對(duì),也有文本、圖像交錯(cuò)出現(xiàn)的多模態(tài)文檔。

      純文本數(shù)據(jù)囊括了Llama2和CodeLlama所使用的所有預(yù)訓(xùn)練數(shù)據(jù),共計(jì)2.9萬億個(gè)token。

      文本-圖像對(duì)包含了一些公開數(shù)據(jù),共計(jì)14億對(duì)、1.5萬億個(gè)token。

      對(duì)于文本和圖像交錯(cuò)的數(shù)據(jù),論文特意強(qiáng)調(diào)沒有包含來自Meta產(chǎn)品的數(shù)據(jù),完全使用公開數(shù)據(jù)來源,整理出共4000億個(gè)token。

      Chameleon的預(yù)訓(xùn)練分兩個(gè)單獨(dú)的階段進(jìn)行,分別占總訓(xùn)練比例的80%和20%。

      訓(xùn)練的第一階段就是讓模型以無監(jiān)督的方式學(xué)習(xí)以上數(shù)據(jù),第二階段開始時(shí),先將第一階段得到的權(quán)重降低50%,并混合更高質(zhì)量的數(shù)據(jù)讓模型繼續(xù)學(xué)習(xí)。

      在模型擴(kuò)展到超過8B參數(shù)和1T token時(shí),訓(xùn)練后期會(huì)產(chǎn)生明顯的不穩(wěn)定問題。

      由于所有模態(tài)共享模型權(quán)重,每個(gè)模態(tài)似乎都有增加norm的傾向,與其他模態(tài)「競爭」。

      這在訓(xùn)練初期不會(huì)產(chǎn)生太大的問題,但隨著訓(xùn)練的進(jìn)行、數(shù)據(jù)超出bf16的表達(dá)范圍時(shí),就會(huì)有l(wèi)oss發(fā)散的現(xiàn)象。

      研究人員將其歸因于softmax函數(shù)所具有的平移不變性,這種現(xiàn)象在單模態(tài)模型中也被稱為「logit 漂移」(logit drift)。

      因此,論文提出了一些架構(gòu)調(diào)整和優(yōu)化方法來保證穩(wěn)定性:

      -QK歸一化(query-key normalization):將layer norm應(yīng)用于注意力模塊中的query和key向量,從而直接控制softmax層輸入的norm增長。

      -在注意力層和前饋層之后引入dropout

      -在損失函數(shù)中使用Zloss正則化

      除了數(shù)據(jù)來源和架構(gòu),論文還大方公開了預(yù)訓(xùn)練所用的算力規(guī)模。

      硬件型號(hào)為80GB內(nèi)存的英偉達(dá)A100,7B版本并行使用1024個(gè)GPU訓(xùn)練了約86萬個(gè)GPU小時(shí),34B模型所用的GPU數(shù)量則擴(kuò)大了3倍,GPU小時(shí)數(shù)超過428萬。

      作為曾經(jīng)開源Llama2的公司,Meta的研究團(tuán)隊(duì)確實(shí)大方,相比連技術(shù)報(bào)告都沒有的GPT-4o,這篇有數(shù)據(jù)有干貨的論文可謂「仁至義盡」。

      全面超越Llama2

      具體的實(shí)驗(yàn)評(píng)估中,研究人員將其分為人工評(píng)估和安全測試,以及基準(zhǔn)評(píng)估。

      基準(zhǔn)評(píng)估

      Chameleon-34B使用了比Llama2多四倍的token進(jìn)行訓(xùn)練后,在各種單模態(tài)的基準(zhǔn)測試中都取得了驚艷的效果。

      在純文本任務(wù)生成中,研究人員將預(yù)訓(xùn)練(非SFT)模型的純文本功能與其他領(lǐng)先的純文本LLM進(jìn)行比較。

      評(píng)估內(nèi)容包括,常識(shí)推理、閱讀理解、數(shù)學(xué)問題和世界知識(shí)領(lǐng)域,評(píng)估結(jié)果如下表所示。

      - 常識(shí)推理和閱讀理解

      可以觀察到, 與Llama2相比,Chameleon-7B和Chameleon-34B更具競爭力。甚至,34B甚至在5/8的任務(wù)上超過了Llama-270B,性能與Mixtral-8x7B相當(dāng)。

      - 數(shù)學(xué)和世界知識(shí)

      盡管進(jìn)行了其他模態(tài)的訓(xùn)練,但兩個(gè)Chameleon模型都表現(xiàn)出很強(qiáng)的數(shù)學(xué)能力。

      在GSM8k上,Chameleon-7B的表現(xiàn)優(yōu)于相應(yīng)參數(shù)規(guī)模的Llama2模型,性能與Mistral-7B相當(dāng)。

      此外,Chameleon-34B在maj@1(61.4vs56.8)和Mixtral-8x7B在maj@32(77.0vs75.1)上的表現(xiàn)均優(yōu)于Llama2-70B。

      同樣,在數(shù)學(xué)運(yùn)算中,Chameleon-7B的性能超過Llama2,與Mistral-7B在maj@4上的性能相當(dāng),而 Chameleon-34B的性能超過Llama2-70B,接近Mixtral-8x7B在maj@4上的性能(24.7vs28.4)。

      總體而言,Chameleon的性能全面超過了Llama2,在某些任務(wù)上接近Mistral-7B/8x7B。

      在文本到圖像任務(wù)中,研究人員具體評(píng)測了視覺問答、圖像標(biāo)注兩項(xiàng)具體任務(wù)。

      Chameleon在視覺問答和圖像標(biāo)注任務(wù)中打敗Flamingo和Llava-1.5等模型成為SOTA,在純文本任務(wù)中也和第一梯隊(duì)的Mixtral8x7B、Gemini Pro等模型表現(xiàn)相當(dāng)。

      人工評(píng)估和安全測試

      同時(shí),為了進(jìn)一步評(píng)估模型生成多模態(tài)內(nèi)容的質(zhì)量,論文也在基準(zhǔn)測試之外引入了人類評(píng)估實(shí)驗(yàn),發(fā)現(xiàn)Chameleon-34B的表現(xiàn)遠(yuǎn)遠(yuǎn)超過了Gemini Pro和GPT-4V。

      相對(duì)于GPT-4V和Gemini Pro,人類評(píng)委分別打出了51.6%和60.4的偏好率。

      下圖展示了,對(duì)于一組多樣化的、來自人類標(biāo)注者的prompt,Chameleon與基線模型在理解和生成內(nèi)容方面的性能對(duì)比。

      其中的每個(gè)問題,都由三個(gè)不同的人類標(biāo)注回答,并將多數(shù)票作為最終答案。

      為了了解人類標(biāo)注者的質(zhì)量,以及問題的設(shè)計(jì)是否合理,研究人員還檢查了不同標(biāo)注者之間的一致性程度。

      表5是對(duì)20,000個(gè)眾包提示和445個(gè)紅隊(duì)交互進(jìn)行的安全測試,引發(fā)模型產(chǎn)生不安全內(nèi)容。

      與Gemini和GPT-4V相比,Chameleon在處理需要交錯(cuò)、混合模態(tài)響應(yīng)的提示時(shí),非常有競爭力。

      從示例中可以看到,在完成問答任務(wù)時(shí),Chameleon既能理解輸入的文本+圖像,也能為模型輸出內(nèi)容加上合適的「配圖」。

      并且,Chameleon生成的圖像通常與上下文相關(guān),這樣一來,這種交錯(cuò)內(nèi)容的輸出對(duì)用戶來說,極具吸引力。

      貢獻(xiàn)團(tuán)隊(duì)

      論文最后,還放上了參與這項(xiàng)研究的貢獻(xiàn)者。

      包括預(yù)訓(xùn)練、對(duì)齊和安全、推理和評(píng)估、所有項(xiàng)目的參與者。

      其中,*表示共同一作,†表示關(guān)鍵貢獻(xiàn)者,‡表示工作流程負(fù)責(zé)人,♯表示項(xiàng)目負(fù)責(zé)人。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡直是創(chuàng)作者們的首選。