全球首個(gè)70B長(zhǎng)文本大語言模型發(fā)布 由港中文聯(lián)合MIT出品

　　10月9日消息，全球首個(gè)擁有70B參數(shù)量的長(zhǎng)文本對(duì)話大語言模型LongAlpaca于10月9日正式對(duì)外發(fā)布，同時(shí)發(fā)布的還有超長(zhǎng)文本擴(kuò)展技術(shù)LongLoRA。

　　新模型及新技術(shù)由香港中文大學(xué)計(jì)算機(jī)科學(xué)工程系終身教授賈佳亞團(tuán)隊(duì)聯(lián)合麻省理工學(xué)院(MIT)發(fā)布，解決了目前大模型對(duì)長(zhǎng)文本處理的盲區(qū)，允許模型考慮和處理較長(zhǎng)的文本序列。

　　目前，相關(guān)技術(shù)與模型已全部開源。據(jù)悉，LongLoRA在只需兩行代碼、一臺(tái)8卡A100機(jī)器的情況下，便可將7B模型的文本長(zhǎng)度拓展到100k tokens，70B模型的文本長(zhǎng)度拓展到32k tokens，遠(yuǎn)超Llama2支持的4k tokens的文本長(zhǎng)度;并且在顯存消耗、時(shí)間消耗和準(zhǔn)確性上，LongLoRA都較常規(guī)LoRA和全參數(shù)微調(diào)有顯著優(yōu)異表現(xiàn)，令LongLoRA大規(guī)模推廣成為可能。