RingAttention：一種降低Transformer內(nèi)存需求的新AI技術(shù)

　　UC伯克利的研究人員提出了一項名為RingAttention的新方法，以解決深度學(xué)習(xí)模型中內(nèi)存需求的挑戰(zhàn)。在最新的研究中，研究人員探討了Transformer模型在處理長序列時面臨的問題，特別是由于自注意力機(jī)制引發(fā)的內(nèi)存需求。這一問題已經(jīng)成為了在人工智能領(lǐng)域中提高模型性能的一個重要挑戰(zhàn)。

　　Transformer模型是一種在自然語言處理等領(lǐng)域取得了重大突破的深度學(xué)習(xí)架構(gòu)。它基于自注意力機(jī)制，可以在進(jìn)行預(yù)測時權(quán)衡輸入序列的不同部分的重要性。然而，隨著輸入序列長度的增加，內(nèi)存需求呈二次增長，這導(dǎo)致了在處理長序列時的挑戰(zhàn)。

　　UC伯克利的研究人員提出了RingAttention方法，通過將自注意力和前饋網(wǎng)絡(luò)計算分塊進(jìn)行，可以將輸入序列分布到多個設(shè)備上，從而實現(xiàn)內(nèi)存高效。這一方法的關(guān)鍵思想是將計算塊塊塊地分布在多個設(shè)備上，同時保持內(nèi)存消耗與塊大小成比例。這意味著每個設(shè)備的內(nèi)存需求與原始輸入序列長度無關(guān)，從而消除了設(shè)備內(nèi)存的限制。

　　研究人員的實驗證明，RingAttention可以將Transformer模型的內(nèi)存需求降低，使其能夠訓(xùn)練比以前的內(nèi)存高效方法長500倍以上的序列，而不需要對注意力機(jī)制進(jìn)行近似。此外，RingAttention還允許處理長度超過1億的序列，為處理大規(guī)模數(shù)據(jù)提供了可能性。

　　盡管這項研究僅涉及方法的有效性評估，而未進(jìn)行大規(guī)模訓(xùn)練模型，但這一方法的性能取決于設(shè)備數(shù)量，因此還需要進(jìn)一步的優(yōu)化。研究人員表示，他們將來計劃在最大序列長度和最大計算性能方面進(jìn)行更多研究，這將為大型視頻-音頻-語言模型、利用擴(kuò)展反饋和試驗錯誤學(xué)習(xí)、代碼生成和理解科學(xué)數(shù)據(jù)等領(lǐng)域提供激動人心的機(jī)會。