阿里重磅開源Qwen2-VL：能理解超20分鐘視頻，媲美GPT-4o！

　　阿里巴巴開源了最新視覺多模態(tài)模型Qwen2-VL，根據(jù)測試數(shù)據(jù)顯示，其72B模型在大部分指標超過了OpenAI的GPT-4o，Anthropic的Claude3.5-Sonnet等著名閉源模型，成為目前最強多模態(tài)模型之一。

　　Qwen2-VL支持中文、英文、日文、韓文等眾多語言，可以在 Apache2.0協(xié)議下進行商業(yè)化使用。同時阿里發(fā)布了 Qwen2-VL-72B的API，幫助開發(fā)者增強或開發(fā)多模態(tài)功能的生成式AI應用。

　　Qwen2-VL特色功能與性能測試

　　Qwen2-VL是基于Qwen2開發(fā)而成，相比第一代Qwen-VL有以下特色功能。

　　可理解20分鐘以上的長視頻:Qwen2-VL 可理解長視頻，并將其用于基于視頻的問答、對話和內(nèi)容創(chuàng)作等應用中。

　　例如，對于一部長達兩個小時的紀錄片，用戶詢問其中某個特定歷史事件的具體時間和背景，Qwen2-VL 可以快速檢索視頻內(nèi)容，從復雜的影像和解說中提取出關(guān)鍵信息，為用戶提供詳細準確的回答。

　　Qwen2-VL還可以根據(jù)長視頻的內(nèi)容進行故事續(xù)寫、影評撰寫或者創(chuàng)意改編。例如，一個30分鐘的科普長視頻，Qwen2-VL 可以提取其中的核心知識，創(chuàng)作出一篇通俗易懂的科普文章，或者以視頻中的某個情節(jié)為靈感構(gòu)思出一部全新的小說。

　　可操作手機和機器人的視覺智能體:借助復雜推理和決策的能力，Qwen2-VL 可集成到手機、機器人等設備，根據(jù)視覺環(huán)境和文字指令進行自動操作。

　　能讀懂不同分辨率和不同長寬比的圖片:Qwen2-VL 在 MathVista、DocVQA、RealWorldQA、MTVQA等視覺理解基準測試中取得了全球領先的表現(xiàn)。

　　性能評估方面，阿里從大學題目、數(shù)學、文檔表格多語言文字圖像的理解、通用場景下的問答、視頻理解、Agent進行了綜合測試。

　　結(jié)果顯示，72B的大部分性能超過了GPT-4o，僅在對綜合的大學題目上和 GPT-4o 還有一些差距。

　　在7B模型上，其性能與GPT-4mini的水平一樣，尤其是像 DocVQA 之類的文檔理解能力和 MTVQA 考察的圖片中多語言文字理解能力都處于 SOTA 水平。

　　Qwen2-VL架構(gòu)簡單介紹

　　模型架構(gòu)方面， Qwen2-VL 在架構(gòu)上的一大改進是實現(xiàn)了對原生動態(tài)分辨率的全面支持。與上一代模型相比，Qwen2-VL 能夠處理任意分辨率的圖像輸入，不同大小圖片被轉(zhuǎn)換為動態(tài)數(shù)量的tokens，最小只占4個 tokens。

　　這種設計不僅確保了模型輸入與圖像原始信息之間的高度一致性，更是模擬了人類視覺感知的自然方式，賦予模型處理任意尺寸圖像的強大能力，使其在圖像處理領域展現(xiàn)出更加靈活和高效的表現(xiàn)。

　　Qwen2-VL在架構(gòu)上的另一重要創(chuàng)新則是多模態(tài)旋轉(zhuǎn)位置嵌入(M-ROPE)。傳統(tǒng)的旋轉(zhuǎn)位置嵌入只能捕捉一維序列的位置信息，而 M-ROPE 通過將原始旋轉(zhuǎn)嵌入分解為代表時間、高度和寬度的三個部分。

　　使得大規(guī)模語言模型能夠同時捕捉和整合一維文本序列、二維視覺圖像以及三維視頻的位置信息。這一創(chuàng)新賦予了語言模型強大的多模態(tài)處理和推理能力，能夠更好地理解和建模復雜的多模態(tài)數(shù)據(jù)能力。

　　案例展示

　　目前，阿里已經(jīng)展示了Qwen2-VL的多個實際應用案例，例如，對一大段視頻進行詳細解讀。

　　用戶:請詳細描述一下視頻。

　　Qwen2-VL:視頻開始時，一名男子對著鏡頭說話，后面是一群人坐在控制室里。然后鏡頭切換到兩個漂浮在空間站內(nèi)的男子，可以看到他們對著鏡頭說話。這些人似乎是宇航員，他們穿著太空服。

　　空間站里充滿了各種設備和機械，鏡頭四處移動以顯示空間站的不同區(qū)域。這些人繼續(xù)對著鏡頭說話，他們似乎在討論他們的使命和正在執(zhí)行的各種任務�？偟膩碚f，該視頻讓人們對太空探索的世界和宇航員的日常生活有了一個有趣的了解。

　　用戶還可以基于視頻繼續(xù)提問，兩位宇航員穿的衣服是什么顏色的?Qwen2-VL回答:兩名宇航員穿著藍色和黑色的衣服。

　　你也可以向Qwen2-VL發(fā)送一張杭州蕭山到北京的飛機票，然后基于上面的內(nèi)容進行提問:“這趟航班什么時候到達?到達時目的地的天氣如何?”

　　Qwen2-VL具備了GPT-4o的實時問答功能，讓其對一些書、植物、手勢等進行解讀。