智源推Vision Mamba 高效處理視覺任務，內存能省87%

　　1月19日 消息:Vision Mamba 是一種新的視覺模型，通過引入狀態(tài)空間模型(SSM)來進行視覺建模，并在 ImageNet 分類、COCO 對象檢測和 ADE20k 語義分割任務上實現(xiàn)了更高的性能。

　　與傳統(tǒng)的基于 ConvNet 的網(wǎng)絡相比，Vision Mamba 在 ImageNet 分類任務中表現(xiàn)更好，并且比基于 Transformer 的視覺模型 DeiT 具有更高的分類準確率。此外，Vision Mamba 在 GPU 內存和高分辨率圖像推理時間方面也更加高效。

　　Vision Mamba 使用雙向序列建模和位置嵌入來解決視覺任務中的單向建模和缺乏位置感知的問題。通過將圖像轉換成展開的二維 patch，并在每個 patch 上進行線性投影和位置嵌入，Vision Mamba 能夠更好地捕捉圖像中的視覺上下文和位置信息。

　　在實驗中，Vision Mamba 在 ImageNet-1K 數(shù)據(jù)集上進行了基準測試，并與傳統(tǒng)的基于 ConvNet 的網(wǎng)絡、基于 Transformer 的視覺模型和基于 SSM 的骨干網(wǎng)絡進行了比較。結果表明，Vision Mamba 在分類、語義分割和對象檢測等任務上都具有優(yōu)越的性能。同時，Vision Mamba 在高分辨率圖像和長序列多模態(tài)應用中具有線性擴展的優(yōu)勢。

　　Vision Mamba 是一種高效的視覺模型，通過引入狀態(tài)空間模型和位置嵌入來提高視覺任務的性能。它在各種任務中都展現(xiàn)出了比傳統(tǒng)模型更好的表現(xiàn)，并且具有更高的計算和內存效率。Vision Mamba 的出現(xiàn)為視覺基礎模型的發(fā)展帶來了巨大的潛力。