摩根大通宣布推出用于多模態(tài)文檔理解的DocLLM

　　近日，摩根大通推出了DocLLM，這是一種為多模態(tài)文檔理解而設(shè)計(jì)的生成式語(yǔ)言模型。DocLLM作為L(zhǎng)LM的輕量級(jí)擴(kuò)展，用于分析企業(yè)文檔，涵蓋了形式、發(fā)票、報(bào)告、合同等在文本和空間模態(tài)交匯處具有復(fù)雜語(yǔ)義的文檔。

　　與現(xiàn)有的多模態(tài)LLM不同，DocLLM策略性地避免了昂貴的圖像編碼器，專注于邊界框信息，以融入空間布局結(jié)構(gòu)。該模型引入了一個(gè)分離的空間注意機(jī)制，通過將經(jīng)典變壓器中的注意機(jī)制分解為一組分離的矩陣。

　　DocLLM通過采用一個(gè)以學(xué)習(xí)填充文本片段為重點(diǎn)的預(yù)訓(xùn)練目標(biāo)，來處理視覺文檔中的不規(guī)則布局和異構(gòu)內(nèi)容。

　　該模型具有一個(gè)分離的空間注意機(jī)制，促進(jìn)文本和布局模態(tài)之間的交叉對(duì)齊，以及一個(gè)擅長(zhǎng)有效處理不規(guī)則布局的填充預(yù)訓(xùn)練目標(biāo)。

　　在預(yù)訓(xùn)練DocLLM時(shí)，數(shù)據(jù)來自兩個(gè)主要來源:IIT-CDIP測(cè)試集1.0和DocBank。前者包括與上世紀(jì)90年代煙草行業(yè)的法律訴訟相關(guān)的500多萬份文件，而后者包括50萬份具有獨(dú)特布局的文件。

　　對(duì)各種文檔智能任務(wù)進(jìn)行廣泛評(píng)估顯示，DocLLM在16個(gè)已知數(shù)據(jù)集中有14個(gè)的性能優(yōu)越于最先進(jìn)的LLM。該模型在4個(gè)設(shè)置中對(duì)先前未見數(shù)據(jù)集的強(qiáng)大泛化能力表現(xiàn)出色。

　　可見，未來摩根大通將以輕量級(jí)方式將視覺融入DocLLM，并進(jìn)一步增強(qiáng)其能力的承諾。