Mamba 模型在視頻理解任務中展現(xiàn)出強勁潛力 打敗Transformer

　　近日，來自南京大學、上海人工智能實驗室、復旦大學、浙江大學的研究隊發(fā)布了一項關于視頻理解的開創(chuàng)性工作。該研究全面審視了 Mamba 模型在建模中的多重角色，提出了針對14種模型 / 模塊的 Video Mamba Suite，并對其在12項視頻理解任務中進行了深估。

　　研究結果顯示，Mamba 模型在視頻專用和視頻 - 語言任務中均展出強勁的潛力，實了效率與性能的理想平衡，為視頻理解領域帶來了革命性變革。

　　過去，視頻理解技術一直是計算機視覺領域的關鍵驅動力之一。從循神經(jīng)網(wǎng)絡、三維卷積神經(jīng)網(wǎng)絡到最近的 Transformer 模型，每一次技術的飛躍都極大地拓了對視頻數(shù)據(jù)的理解和應用。然而，傳統(tǒng)架構在處理長視頻序列的能力上漸暴露出局限性，而狀態(tài)空間模型架構 Mamba 以其線性計算復雜度的優(yōu)勢，為視頻理解領域帶來新的可能性。Mamba 模型的 Video Mamba Suite 套件被用于評估12項視頻理解任務，結果表明 Mamba 模型在視頻時間任務、多模態(tài)交互任務等領域展現(xiàn)出了強大的潛力和性能。

　　該研究 Mamba 模型在視頻理解領域的多種角色進行了深入研究，包括時序模型、多模態(tài)交、時空模型等。研究團隊展示了 Mamba 模型在視頻時間任務上的性能優(yōu)越性相較于現(xiàn)有 Transformer 模型展現(xiàn)出了更加卓越的性能。此外，Mamba 模型在多模態(tài)交互任務中也呈現(xiàn)出了強大的表現(xiàn)。綜合實驗結果顯示，Mamba 模型在視頻理解領域具潛在的優(yōu)勢和多樣化的角色，為未來視頻理解研究提供了有力的推動和參考價值。