北大和字節(jié)聯(lián)手搞了個(gè)大的:
提出圖像生成新范式,從預(yù)測下一個(gè)token變成預(yù)測下一級(jí)分辨率,效果超越Sora核心組件Diffusion Transformer(DiT)。
并且代碼開源,短短幾天已經(jīng)攬下1.3k標(biāo)星,登上GitHub趨勢榜。
具體是個(gè)什么效果?
實(shí)驗(yàn)數(shù)據(jù)上,這個(gè)名為VAR(Visual Autoregressive Modeling)的新方法不僅圖像生成質(zhì)量超過DiT等傳統(tǒng)SOTA,推理速度也提高了20+倍。
這也是自回歸模型首次在圖像生成領(lǐng)域擊敗DiT。
直觀感受上,話不多說,直接看圖:
值得一提的是,研究人員還在VAR上,觀察到了大語言模型同款的Scaling Laws和零樣本任務(wù)泛化。
論文代碼上線,已經(jīng)引發(fā)不少專業(yè)討論。
有網(wǎng)友表示有被驚到,頓時(shí)覺得其他擴(kuò)散架構(gòu)的論文有點(diǎn)索然無味。
還有人認(rèn)為,這是一種通向Sora的更便宜的潛在途徑,計(jì)算成本可降低一個(gè)乃至多個(gè)數(shù)量級(jí)。
預(yù)測下一級(jí)分辨率
簡單來說,VAR的核心創(chuàng)新,就是用預(yù)測下一級(jí)分辨率,替代了預(yù)測下一個(gè)token的傳統(tǒng)自回歸方法。
VAR的訓(xùn)練分為兩個(gè)階段。
第一階段,VAR引入了多尺度離散表示,使用VQ-VAE將連續(xù)圖像編碼為一系列離散的token map,每個(gè)token map有不同的分辨率。
第二階段,主要是對(duì)VAR Transformer的訓(xùn)練,通過預(yù)測更高分辨率的圖像,來進(jìn)一步優(yōu)化模型。具體過程是這樣的:
從最低分辨率(比如1×1)的token map開始,預(yù)測下一級(jí)分辨率(比如4×4)的完整token map,并以此類推,直到生成最高分辨率的token map(比如256×256)。在預(yù)測每個(gè)尺度的token map時(shí),基于Transformer,模型會(huì)考慮之前所有步驟生成的映射信息。
在第二階段中,之前訓(xùn)練好的VQ-VAE模型發(fā)揮了重要作用:為VAR提供了“參考答案”。這能幫助VAR更準(zhǔn)確地學(xué)習(xí)和預(yù)測圖像。
另外,在每個(gè)尺度內(nèi),VAR是并行地預(yù)測所有位置的token,而不是線性逐個(gè)預(yù)測,這大大提高了生成效率。
研究人員指出,采用這樣的方法,VAR更符合人類視覺感知從整體到局部的特點(diǎn),并能保留圖像的空間局部性。
符合Scaling Laws
從實(shí)驗(yàn)結(jié)果來看,在圖像生成質(zhì)量、推理速度、數(shù)據(jù)效率和可擴(kuò)展性等方面,VAR都超過了DiT。
在ImageNet256×256上,VAR將FID從18.65降到了1.8,IS從80.4提高到356.4,顯著改善了自回歸模型基線。
注:FID越低,說明生成圖像的質(zhì)量和多樣性越接近真實(shí)圖像。
推理速度方面,相較于傳統(tǒng)自回歸模型,VAR實(shí)現(xiàn)了約20倍的效率提升。而DiT消耗的時(shí)間是VAR的45倍。
數(shù)據(jù)效率方面,VAR只需要350個(gè)訓(xùn)練周期(epoch),遠(yuǎn)少于DiT-XL/2的1400個(gè)。
可擴(kuò)展性方面,研究人員觀察到VAR有類似于大語言模型的Scaling Laws:隨著模型尺寸和計(jì)算資源的增加,模型性能持續(xù)提升。
另外,在圖像修補(bǔ)、擴(kuò)展和編輯等下游任務(wù)的零樣本評(píng)估中,VAR表現(xiàn)出了出色的泛化能力。
目前,在GitHub倉庫中,推理示例、demo、模型權(quán)重和訓(xùn)練代碼均已上線。
不過,在更多討論之中,也有網(wǎng)友提出了一些問題:
VAR不如擴(kuò)散模型靈活,并且在分辨率上存在擴(kuò)展問題。
北大字節(jié)聯(lián)合出品
VAR的作者們,來自字節(jié)跳動(dòng)AI Lab和北大王立威團(tuán)隊(duì)。
一作田柯宇,本科畢業(yè)自北航,目前是北大CS研究生,師從北京大學(xué)信息科學(xué)技術(shù)學(xué)院教授王立威。2021年開始在字節(jié)AI Lab實(shí)習(xí)。
論文通訊作者,是字節(jié)跳動(dòng)AI Lab研究員袁澤寰和王立威。
袁澤寰2017年博士畢業(yè)于南京大學(xué),目前專注于計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)研究。王立威從事機(jī)器學(xué)習(xí)研究20余年,是首屆“優(yōu)青”獲得者。
該項(xiàng)目的項(xiàng)目主管,是字節(jié)跳動(dòng)廣告生成AI研究主管Yi jiang。他碩士畢業(yè)于浙江大學(xué),目前的研究重點(diǎn)是視覺基礎(chǔ)模型、深度生成模型和大語言模型。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國柏林國際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場的強(qiáng)大影響力。
近日,中國家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。