文檔是知識傳遞的載體,無論是大模型應用發(fā)展,還是與產(chǎn)業(yè)數(shù)字化息息相關(guān)的高質(zhì)量數(shù)據(jù)庫的建立,都離不開對于文檔數(shù)據(jù)的處理和分析。目前,越來越多的開發(fā)者開始關(guān)注文檔數(shù)據(jù)處理背后的“文檔解析”技術(shù),用以實現(xiàn)自動化數(shù)據(jù)提取、優(yōu)化大模型訓練、開發(fā)智能文檔處理應用。
近期,第五屆長沙·中國1024程序員節(jié)在湖南長沙舉行。大會由湖南省工業(yè)和信息化廳、湖南湘江新區(qū)管理委員會、長沙市工業(yè)和信息化局、長沙信息產(chǎn)業(yè)園管委會和 CSDN 聯(lián)合打造。大會期間,合合信息面向廣大開發(fā)者,開放智能文檔處理“百寶箱”系列產(chǎn)品(簡稱“百寶箱”)免費體驗。“百寶箱”覆蓋文檔處理流程多節(jié)點,支持批量、高效、準確解析多種版式的文檔材料,解決文檔解析精度低、解析效果評估難和大模型幻覺等問題,助力技術(shù)人員實現(xiàn)個性化、高效率的文檔類應用開發(fā)工作。
“百寶箱”為文檔應用開發(fā)提供個性化工具
文檔處理包含解析界面可視化、提取關(guān)鍵信息、解析效果測評等多個流程,每一節(jié)點都影響著數(shù)據(jù)解析的精度。在長沙·中國1024程序員節(jié)《模型與工具》論壇上,合合信息智能創(chuàng)新事業(yè)部研發(fā)總監(jiān)常揚介紹了智能文檔處理“百寶箱”三大產(chǎn)品,用維護穩(wěn)定、持續(xù)更新、可用性強的AI工具幫助開發(fā)者解決難題。
圖說 長沙·中國1024程序員節(jié)《模型與工具》論壇現(xiàn)場
據(jù)常揚介紹,對于廣大技術(shù)人員而言,一款能夠“開箱即用”的工具能夠讓開發(fā)事半功倍。為解決個人及中小型企業(yè)技術(shù)人員在開發(fā)過程中遇到的“水土不服”問題,合合信息發(fā)布了一組文檔解析界面前端可視化組件,開發(fā)者可使用相關(guān)界面對解析效果進行交互,包括提取各類解析元素,定位解析元素在文檔中的位置,還原展示各級目錄樹等。此外,相關(guān)組件還支持對結(jié)果進行編輯修正,方便使用者實現(xiàn)更高精度的解析效果,進行個性化開發(fā)。
圖說 文檔解析可視化前端界面
在文檔處理及大模型RAG應用時,文本向量模型對于檢索質(zhì)量和效率至關(guān)重要。“百寶箱”開源了合合信息自研的文本向量模型代碼——acge模型,曾于2024年3月榮登C-MTEB榜單第一名,支持長文檔嵌入檢索,兼顧效率和性能,有效提升大模型RAG應用效果。目前在開源機器學習社區(qū)和模型庫Hugging Face平臺上,acge模型單月下載量達30,423,助力越來越多的開發(fā)者優(yōu)化大模型性能。
本次大會上,“百寶箱”還為文檔解析工具的篩選配備了“游標卡尺”。當前市面上的文檔解析產(chǎn)品效果缺乏統(tǒng)一標準,為選擇一款合適的工具,開發(fā)者們要花費較長的時間進行對比測試。“百寶箱”中的“文檔解析測評工具”從表格、段落、標題、閱讀順序、公式等多維度,為文檔解析工具篩選提供定量測評依據(jù)及服務,并提供雷達圖等可視化形式,方便開發(fā)者直觀地看到文本識別、解析和翻譯的結(jié)果,節(jié)省篩選時間。
圖說 表格數(shù)據(jù)解析效果測評指標
文檔智能解析為專業(yè)知識庫建設“打好地基”
技術(shù)只有和具體業(yè)務實踐相結(jié)合才能創(chuàng)造價值,在大會上,常揚分享了“智能文檔處理百寶箱”在知識庫搭建、智能文檔抽取、大模型預訓練語料與數(shù)據(jù)治理快速入庫以及文檔翻譯場景中的深度應用。
以工程制造業(yè)為例,知識庫的建立需要對產(chǎn)品設計方案、技術(shù)規(guī)格書、工藝流程圖、國家標準文件等在內(nèi)的多版式文檔進行分析,數(shù)據(jù)處理難度高。借助“百寶箱”及合合信息智能文檔處理技術(shù),開發(fā)者可以篩選出合適的文檔解析工具并實現(xiàn)對復雜文檔信息的精準提取。面對數(shù)據(jù)來源不一致、數(shù)據(jù)更新不及時等問題,開發(fā)者還可以使用acge模型優(yōu)化知識庫信息構(gòu)建、檢索和查詢效果。
除了中文文檔,包括生物醫(yī)藥、金融、外貿(mào)等行業(yè)在內(nèi)的專項知識庫還存在解析、翻譯多語種文檔的需求。不同語種之間不僅字體字形之間存在巨大差異,復雜語句切分也是一大難題。據(jù)悉,“百寶箱”可在保留文檔原有格式的基礎(chǔ)上做到批量、精確區(qū)分并提取多語種信息,前端組件提供審校修正功能,用戶可直接在界面上對解析結(jié)果進行優(yōu)化,助力提高翻譯質(zhì)量。未來,合合信息智能文檔處理“百寶箱”將始終追求更高的效率與準確率,從文檔解析到效果測評,為知識庫產(chǎn)品開發(fā)提供有力支持。
圖說 “百寶箱”在文檔翻譯場景中的應用
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標識解析專題論壇在沈陽成功舉辦。