Mamba 模型在視頻理解任務(wù)中展現(xiàn)出強(qiáng)勁潛力 打敗Transformer

　　近日，來(lái)自南京大學(xué)、上海人工智能實(shí)驗(yàn)室、復(fù)旦大學(xué)、浙江大學(xué)的研究隊(duì)發(fā)布了一項(xiàng)關(guān)于視頻理解的開(kāi)創(chuàng)性工作。該研究全面審視了 Mamba 模型在建模中的多重角色，提出了針對(duì)14種模型 / 模塊的 Video Mamba Suite，并對(duì)其在12項(xiàng)視頻理解任務(wù)中進(jìn)行了深估。

　　研究結(jié)果顯示，Mamba 模型在視頻專用和視頻 - 語(yǔ)言任務(wù)中均展出強(qiáng)勁的潛力，實(shí)了效率與性能的理想平衡，為視頻理解領(lǐng)域帶來(lái)了革命性變革。

　　過(guò)去，視頻理解技術(shù)一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的關(guān)鍵驅(qū)動(dòng)力之一。從循神經(jīng)網(wǎng)絡(luò)、三維卷積神經(jīng)網(wǎng)絡(luò)到最近的 Transformer 模型，每一次技術(shù)的飛躍都極大地拓了對(duì)視頻數(shù)據(jù)的理解和應(yīng)用。然而，傳統(tǒng)架構(gòu)在處理長(zhǎng)視頻序列的能力上漸暴露出局限性，而狀態(tài)空間模型架構(gòu) Mamba 以其線性計(jì)算復(fù)雜度的優(yōu)勢(shì)，為視頻理解領(lǐng)域帶來(lái)新的可能性。Mamba 模型的 Video Mamba Suite 套件被用于評(píng)估12項(xiàng)視頻理解任務(wù)，結(jié)果表明 Mamba 模型在視頻時(shí)間任務(wù)、多模態(tài)交互任務(wù)等領(lǐng)域展現(xiàn)出了強(qiáng)大的潛力和性能。

　　該研究 Mamba 模型在視頻理解領(lǐng)域的多種角色進(jìn)行了深入研究，包括時(shí)序模型、多模態(tài)交、時(shí)空模型等。研究團(tuán)隊(duì)展示了 Mamba 模型在視頻時(shí)間任務(wù)上的性能優(yōu)越性相較于現(xiàn)有 Transformer 模型展現(xiàn)出了更加卓越的性能。此外，Mamba 模型在多模態(tài)交互任務(wù)中也呈現(xiàn)出了強(qiáng)大的表現(xiàn)。綜合實(shí)驗(yàn)結(jié)果顯示，Mamba 模型在視頻理解領(lǐng)域具潛在的優(yōu)勢(shì)和多樣化的角色，為未來(lái)視頻理解研究提供了有力的推動(dòng)和參考價(jià)值。