超GPT-4o，1240億參數(shù)！最強(qiáng)開源多模態(tài)模型 Pixtral Large！

　　今天凌晨，法國(guó)著名開源大模型平臺(tái)Mistral.ai，開源了超大多模態(tài)模型——Pixtral Large。

　　Pixtral Large有1240億參數(shù)，支持128K上下文，能理解文本、圖表、圖像等，也是Mistral.ai自家聊天助手 le Chat目前正在使用的視覺模型。支持中文、法文、英文等十多種主流語言。

　　根據(jù)測(cè)試數(shù)據(jù)顯示，Pixtral Large在MMMU、MathVista、ChartQA、DocVQA、VQAv2等基準(zhǔn)測(cè)試的數(shù)據(jù)，超過了GPT-4o、Gemini-1.5Pro、Claude-3.5Sonnet、Llama-3.290B，成為目前最強(qiáng)的開源多模態(tài)模型。

　　同時(shí)，Mistral.ai還發(fā)布了一個(gè)免費(fèi)的支持PDF理解、網(wǎng)絡(luò)搜索、Canvas、AI Agent、圖片生成的多模態(tài)AI助手——le Chat。

　　Pixtral Large簡(jiǎn)單介紹

　　Pixtral Large是基于Mistral Large2開發(fā)而成，有1230億參數(shù)多模態(tài)解碼器和10億參數(shù)視覺編碼器。

　　多模態(tài)解碼器是Pixtral Large的核心，主要負(fù)責(zé)整合和處理來自視覺編碼器的圖像信息以及文本數(shù)據(jù)。這個(gè)龐大的參數(shù)量使得解碼器能夠捕捉到復(fù)雜的模式和關(guān)系，無論是在文本中的長(zhǎng)距離依賴還是在圖像中的細(xì)節(jié)，實(shí)現(xiàn)高質(zhì)量的圖像描述、視覺問答和文檔理解等。

　　而10億參數(shù)的視覺編碼器則是Pixtral Large處理圖像數(shù)據(jù)的關(guān)鍵。這個(gè)編碼器專門設(shè)計(jì)用于將圖像轉(zhuǎn)換為模型可以理解的高維特征表示。

　　通過這種方式，Pixtral Large能夠理解圖像中的視覺元素，并將這些信息與文本數(shù)據(jù)結(jié)合起來，以產(chǎn)生更豐富的上下文理解和更準(zhǔn)確的任務(wù)執(zhí)行。

　　在技術(shù)層面，Pixtral Large的視覺編碼器采用了先進(jìn)的變換器架構(gòu)，能夠有效地處理不同分辨率和寬高比的圖像。這種靈活性對(duì)于處理現(xiàn)實(shí)世界中的圖像至關(guān)重要，因?yàn)檫@些圖像的尺寸和形狀千差萬別。此外，視覺編碼器還采用了自注意力機(jī)制，模型能夠在處理圖像時(shí)考慮到全局上下文，而不僅僅是局部特征。

　　Pixtral Large的多模態(tài)解碼器則進(jìn)一步將這些視覺特征與文本信息結(jié)合起來。通過這種方式，模型不僅能夠理解圖像中的內(nèi)容，還能夠理解這些內(nèi)容如何與文本數(shù)據(jù)相互作用和關(guān)聯(lián)，它允許模型在處理多模態(tài)輸入時(shí)動(dòng)態(tài)地調(diào)整其關(guān)注點(diǎn)。

　　此外，Pixtral Large還采用了一種新穎的序列打包技術(shù)，這使得模型能夠在單個(gè)批次中高效地處理多張圖像。通過構(gòu)建塊對(duì)角掩碼來確保不同圖像之間的特征不會(huì)相互干擾，從而提高了模型處理多圖像數(shù)據(jù)的效率和準(zhǔn)確性。

　　在長(zhǎng)上下文窗口方面，Pixtral Large擁有128K的上下文窗口，這使得模型能夠處理大量的文本和圖像數(shù)據(jù)。這對(duì)于理解和總結(jié)長(zhǎng)篇文檔或處理包含多個(gè)圖像的復(fù)雜場(chǎng)景至關(guān)重要。長(zhǎng)上下文窗口確保了模型能夠在處理這些復(fù)雜任務(wù)時(shí)保持信息的連貫性和完整性

　　le Chat介紹

　　今天凌晨，Mistral.ai還對(duì)他們的類ChatGPT助手le Chat進(jìn)行了重磅更新。

　　在這次更新中，Le Chat引入了網(wǎng)絡(luò)搜索和引用功能，用戶可以直接在聊天界面中搜索互聯(lián)網(wǎng)上的最新信息，并獲取帶有引用鏈接的答案。對(duì)于學(xué)生和專業(yè)人士來說非常有幫助，可以在準(zhǔn)備研究報(bào)告或?qū)W術(shù)論文時(shí)，快速準(zhǔn)確地獲取資料和數(shù)據(jù)。

　　Le Chat還推出了一個(gè)全新的Canvas功能，支持想法的構(gòu)思允許內(nèi)聯(lián)編輯和導(dǎo)出，極大地提高了創(chuàng)意工作的效率。用戶可以在Canvas上進(jìn)行頭腦風(fēng)暴、編輯內(nèi)容，并將其導(dǎo)出為各種格式，方便進(jìn)一步使用。

　　現(xiàn)在Le Chat也能夠處理大型、復(fù)雜的PDF文檔和圖像，得益于最新的多模態(tài)模型Pixtral Large，能夠分析和總結(jié)文檔中的圖表、表格、圖示、文本、公式和方程等內(nèi)容。例如，它可以輕松解析著名的量子糾纏論文，展示出信息提取、總結(jié)和語義理解的強(qiáng)大能力。

　　Le Chat還與Black Forest Labs合作，整合了領(lǐng)先的圖像生成技術(shù)Flux Pro，使用戶可以直接在Le Chat中生成高質(zhì)量的圖像。這一功能特別適用于創(chuàng)意設(shè)計(jì)和營(yíng)銷領(lǐng)域，用戶可以快速生成符合需求的圖像，提高工作效率。

　　此外，Le Chat還提供了AI Agent功能。用戶可以將特定類型的工作流程編碼為 Agent，然后發(fā)布并與團(tuán)隊(duì)成員共享，實(shí)現(xiàn)更高效的工作流管理和自動(dòng)化操作。常見的使用場(chǎng)景包括收據(jù)掃描、費(fèi)用報(bào)告、會(huì)議紀(jì)要的總結(jié)和發(fā)票處理等。

　　在性能提升方面，Le Chat通過投機(jī)性編輯技術(shù)，顯著提高了響應(yīng)速度，用戶可以更快地獲得高質(zhì)量的回答和建議，提高了整體的工作效率。同時(shí)，Le Chat提供了一個(gè)從模型到輸出的完全集成平臺(tái)，用戶可以在一個(gè)平臺(tái)上完成所有的多模態(tài)任務(wù)，無需在多個(gè)工具之間切換，簡(jiǎn)化了工作流程。