字節(jié)跳動(dòng)與中科大聯(lián)手提出多模態(tài)文檔大模型DocPedia

　　字節(jié)跳動(dòng)與中國(guó)科學(xué)技術(shù)大學(xué)合作研發(fā)的多模態(tài)文檔大模型DocPedia已成功突破了分辨率的極限，達(dá)到了2560×2560的高分辨率。這一成果是通過(guò)研究團(tuán)隊(duì)采用了一種新的方法，解決了現(xiàn)有模型在解析高分辨文檔圖像方面的不足。

　　在此研究中，提出了DocPedia，一個(gè)高分辨率多模態(tài)文檔大模型，與業(yè)內(nèi)先進(jìn)模型相比，其分辨率明顯提高，達(dá)到2560×2560，而其他模型的上限僅為336×336，無(wú)法解析高分辨率文檔圖像。

　　DocPedia的性能得到了顯著提升，尤其在關(guān)鍵信息抽取和視覺(jué)問(wèn)答方面的能力上。通過(guò)論文中的示例展示，DocPedia能夠理解高分辨率文檔圖像和自然場(chǎng)景圖像中的指令內(nèi)容，并準(zhǔn)確提取相關(guān)的圖文信息。這包括了從圖像中挖掘車牌號(hào)、電腦配置等文本信息，甚至對(duì)手寫(xiě)文字的準(zhǔn)確判斷。

　　結(jié)合圖像中的文本信息，DocPedia還可以利用其大模型推理能力，根據(jù)上下文分析問(wèn)題，并回答圖像中沒(méi)有展示的擴(kuò)展內(nèi)容。

　　在DocPedia的訓(xùn)練過(guò)程中，研究團(tuán)隊(duì)采用了兩個(gè)階段的方法:預(yù)訓(xùn)練和微調(diào)。在預(yù)訓(xùn)練階段，大語(yǔ)言模型的視覺(jué)編碼器部分被優(yōu)化，以使其輸出與大語(yǔ)言模型對(duì)齊。這一階段主要注重對(duì)感知能力的訓(xùn)練，包括文字和自然場(chǎng)景的感知。微調(diào)階段涉及整個(gè)模型的端到端優(yōu)化，并采用感知-理解聯(lián)合訓(xùn)練策略，進(jìn)一步提高了DocPedia的性能。

　　特別值得注意的是，DocPedia從頻域的角度出發(fā)解決分辨率問(wèn)題。通過(guò)提取高分辨率文檔圖像的DCT系數(shù)矩陣，并在不損失圖文信息的前提下進(jìn)行空間分辨率下采樣，通過(guò)級(jí)聯(lián)的頻域適配器進(jìn)一步進(jìn)行分辨率壓縮和特征提取。這種方法在將圖像輸入到視覺(jué)編碼器之前，大大減少了token數(shù)量，提高了效率。

　　總體而言，DocPedia在多模態(tài)文檔大模型領(lǐng)域取得了顯著的突破，其高分辨率和優(yōu)化訓(xùn)練策略使其在各項(xiàng)測(cè)試基準(zhǔn)上均表現(xiàn)出色。該研究為推動(dòng)多模態(tài)文檔理解領(lǐng)域的發(fā)展提供了有力的支持。