與Sora一樣能生成視頻、圖像，還能一次解讀100萬數(shù)據(jù)！

　　大語言模型(LLM)在生成文本內(nèi)容方面非常強，但在理解、生成視頻、圖像等方面略顯不足。尤其是在Sora一夜爆紅之后，讓人們意識到未來主流模型一定是文本+音頻+圖像+視頻的多模態(tài)生成、理解功能。

　　因此，加州大學(xué)伯克利分校的研究人員開源了一種訓(xùn)練數(shù)據(jù)更多、理解能力更強的基礎(chǔ)模型——大世界模型(Large World Model，簡稱“LWM”)。

　　LWM是一種通用的多模態(tài)自回歸模型，與前不久谷歌發(fā)布的Gemini1.5一樣，一次性可精準(zhǔn)解答100萬tokens的視頻、文本，例如，LWM可以正確回答1小時YouTube視頻中包含500多個視頻片段的問題。

　　此外，LWM可以精準(zhǔn)檢索100萬tokens文本中的內(nèi)容，同時與Sora一樣具備文本生成視頻、圖像的能力。整體性能非常強悍，目前在github獲得超6000顆星，有純文本、視頻、圖像等多個版本模型可使用。

　　LWM模型介紹

　　在傳統(tǒng)的注意力機制中，例如，Transformer架構(gòu)中使用的自注意力，模型需要計算序列中每個元素對于其他所有元素的注意力得分，這就會面臨兩大難題。

　　1）內(nèi)存需求上升:模型需要存儲每一對元素間的注意力得分，會隨著序列長度的增加而急劇增加內(nèi)存需求。

　　2）計算復(fù)雜度:當(dāng)序列很長時，會導(dǎo)致巨大的算力負(fù)擔(dān)。

　　LWM的核心技術(shù)是通過Ring Attention（環(huán)形注意力）在長序列上進行擴展訓(xùn)練，并使用Books3數(shù)據(jù)集從32000擴展到100萬標(biāo)記，而無需消耗額外的內(nèi)存、算力并降低計算復(fù)雜度。

　　Ring Attention論文地址:https://arxiv.org/abs/2310.01889

　　盡管Ring Attention減少了每個片段的直接交互范圍，但仍然允許信息在序列中傳遞，保持了模型對長距離依賴的捕捉能力，減少了長序列的處理損失度。

　　這也是LWM能處理高達100萬tokens數(shù)據(jù)的原因之一。

　　Ring Attention主要功能

　　RingAttention是通過使用循環(huán)結(jié)構(gòu)來擴展，注意力機制的上下文大小。傳統(tǒng)的注意力機制在計算上下文相關(guān)性時，通常只關(guān)注序列中相對較近的位置。

　　但在處理長序列時，遠距離的上下文信息也可能對模型的理解和推理能力至關(guān)重要。RingAttention通過引入環(huán)形結(jié)構(gòu)來解決這個難題。

　　具體來說，使用了一種環(huán)形緩沖區(qū)來存儲先前計算的注意力權(quán)重。模型可以在計算當(dāng)前位置的注意力時，考慮到之前計算的位置的信息，從而無限擴展了上下文范圍，主要功能模塊如下。

　　環(huán)狀分組:該模塊將輸入序列劃分為多個環(huán)，每個環(huán)中的位置與其他環(huán)中的位置之間進行相關(guān)性計算。通過這種劃分方式，可以有效降低計算復(fù)雜度。

　　環(huán)內(nèi)注意力:在每個環(huán)內(nèi)，該模塊計算位置之間的相關(guān)性，并根據(jù)相關(guān)性的權(quán)重對位置進行加權(quán)。這樣，每個位置都可以獲得來自同一環(huán)的其他位置的信息。

　　環(huán)間注意力:這個模塊負(fù)責(zé)計算不同環(huán)之間的相關(guān)性。通過將每個環(huán)的表示與其他環(huán)的表示進行比較，計算它們之間的相關(guān)性，這種跨環(huán)的交互有助于在不同環(huán)之間傳遞信息。

　　環(huán)間投影:在環(huán)間注意力之后，該模塊將每個環(huán)的表示投影到一個共享的表示空間中，有助于進一步整合不同環(huán)之間的信息。

　　通過這些關(guān)鍵模塊的協(xié)同工作，Ring Attention實現(xiàn)了對長序列的高效處理和建模，并為訓(xùn)練大規(guī)模模型提供了高效方法。

　　LWM訓(xùn)練流程與數(shù)據(jù)

　　第一階段是語言模型的預(yù)訓(xùn)練，主要擴展語言理解的上下文長度。LWM使用了Books3數(shù)據(jù)集， 從32，000tokens逐步擴展到100萬tokens，同時針對長序列的聊天任務(wù)進行了微調(diào)。

　　第二階段是多模態(tài)的預(yù)訓(xùn)練，將視覺信息整合到語言模型中。LWM使用了大量包含圖像和視頻的公開數(shù)據(jù)集，例如，LAION-2B、COYO-700M、WebVid10M等。

　　同時訓(xùn)練圖像-文本、視頻-文本等多種對齊格式。視頻以每秒4幀的速度提取關(guān)鍵幀，特別針對32K、128K和1M tokens長度進行了優(yōu)化訓(xùn)練。