金融分析多模態(tài)LLM FinTral:基于Mistral-7B模型 得分接近GPT-4

　　2月29日 消息:近日，來自不列顛哥倫比亞大學(xué)和Invertible AI的研究人員推出了一款具有突破性的大型語言模型(LLM)——FinTral，專為金融領(lǐng)域量身定制。FinTral采用了多模態(tài)方法，能夠處理文本、數(shù)字、表格和視覺數(shù)據(jù)，以應(yīng)對金融文件的復(fù)雜性。該模型引入了FinSet，一個(gè)全面評估金融LLM的基準(zhǔn)。實(shí)驗(yàn)證明，F(xiàn)inTral在多項(xiàng)任務(wù)中表現(xiàn)出色，包括具有增強(qiáng)視覺和工具檢索功能的版本，在眾多任務(wù)中超越了GPT-4等已建立的模型。

　　FinTral以Mistral-7b模型為基礎(chǔ)，經(jīng)過領(lǐng)域特定的預(yù)訓(xùn)練，利用包含來自C4、新聞和財(cái)務(wù)文件等多元來源的FinSet數(shù)據(jù)集，共計(jì)20億標(biāo)記，以提高對金融查詢的理解和響應(yīng)能力。為了進(jìn)一步增強(qiáng)性能，F(xiàn)inTral通過指導(dǎo)調(diào)整和人工智能反饋結(jié)合人類和AI反饋，優(yōu)化了模型。FinTral通過CLIP編碼器進(jìn)行視覺數(shù)據(jù)處理，并通過工具處理數(shù)值任務(wù)，從而有效增強(qiáng)了其功能。該模型通過直接策略優(yōu)化和檢索增強(qiáng)生成進(jìn)一步提升了在金融分析領(lǐng)域的準(zhǔn)確性和深度。

　　實(shí)驗(yàn)結(jié)果顯示，F(xiàn)inTral在各種金融任務(wù)中表現(xiàn)出色，F(xiàn)inTral-INST模型通過對預(yù)訓(xùn)練模型進(jìn)行微調(diào)，在平均得分達(dá)到0.49的情況下，超越了所有其他模型。經(jīng)過帶有AI反饋的強(qiáng)化學(xué)習(xí)的模型也取得了顯著進(jìn)展，F(xiàn)inTral-DPO在平均得分達(dá)到0.59的情況下，表現(xiàn)卓越，僅略低于GPT-4的平均得分0.69。然而，實(shí)驗(yàn)結(jié)果也指出了一些需要改進(jìn)的方面，包括實(shí)時(shí)數(shù)據(jù)處理、維護(hù)和更新、標(biāo)注數(shù)據(jù)的稀缺等。

　　FinTral是一款先進(jìn)的金融語言模型，利用大量數(shù)據(jù)集和多樣的訓(xùn)練方法分析復(fù)雜的金融數(shù)據(jù)。通過以清潔的金融數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練并采用檢索方法，降低了模型的虛構(gòu)風(fēng)險(xiǎn)，提高了準(zhǔn)確性和可靠性。其對金融市場的實(shí)時(shí)適應(yīng)性和動(dòng)態(tài)數(shù)據(jù)檢索能力可以顯著提高預(yù)測準(zhǔn)確性和決策制定。研究人員承認(rèn)了研究中存在的限制和風(fēng)險(xiǎn)因素，并對未來發(fā)展充滿樂觀。