MosaicML推開源大語言模型MPT-7B-8K 上下文長度達(dá)8k

　　MosaicML 發(fā)布了名為 MPT-7B-8K 的7B 參數(shù)開源語言模型(LLM)，支持8K 的上下文長度。與以前的模型相比，MPT-7B-8K LLM 在摘要和回答任務(wù)方面展現(xiàn)出卓越的能力。

　　據(jù)該公司稱，該模型在 MosaicML 平臺(tái)上進(jìn)行訓(xùn)練，并從 MPT-7B 檢查點(diǎn)開始進(jìn)行預(yù)訓(xùn)練過程。預(yù)訓(xùn)練階段使用Nvidia H100進(jìn)行，另外在256個(gè) H100上進(jìn)行了三天的訓(xùn)練，包含了令人印象深刻的5000億個(gè)token數(shù)據(jù)。

　　MosaicML 發(fā)布的 MPT-30B 在人工智能社區(qū)引起了轟動(dòng)，MPT-30B 是一種開源且商業(yè)許可的基于解碼器的 LLM。該公司聲稱其比GPT-3-175B更強(qiáng)大，參數(shù)只有GPT-3的17%，相當(dāng)于300億。

　　MPT-30B 在各種任務(wù)中的性能都超過了 GPT-3，并且證明比類似大小的模型訓(xùn)練效率更高。例如，LLaMA-30B 所需的 FLOPs 預(yù)算比 MPT-30B 大約高1.44倍，而 Falcon-40B 的 FLOPs 預(yù)算比 MPT-30B 高1.27倍。

　　MosaicML 聲稱，與之前發(fā)布的所有型號(hào)相比，新型號(hào) MPT-7B-8K 在文檔摘要和問答任務(wù)方面表現(xiàn)出卓越的熟練程度。該模型專門針對(duì)加速訓(xùn)練和推理進(jìn)行了優(yōu)化，以獲得更快的結(jié)果。此外，它還允許在 MosaicML 平臺(tái)內(nèi)微調(diào)特定領(lǐng)域的數(shù)據(jù)。

　　該公司還宣布提供 MPT-7B-8k 的商用版本，強(qiáng)調(diào)其在包含1.5萬億token的廣泛數(shù)據(jù)集上的出色訓(xùn)練，超越了 XGen、LLaMA、Pythia、OpenLLaMA 和 StableLM 等類似模型。

　　MosaicML 聲稱，通過使用 FlashAttention 和 FasterTransformer，該模型在快速訓(xùn)練和推理方面表現(xiàn)出色，同時(shí)受益于llm-foundry 存儲(chǔ)庫提供的開源訓(xùn)練代碼 。

　　該公司發(fā)布了三種版本的模型:

　　MPT-7B-8k-Base: 這種解碼器式 Transformer 基于 MPT-7B 進(jìn)行預(yù)訓(xùn)練，并進(jìn)一步優(yōu)化，擴(kuò)展序列長度為8k。它接受了5000億個(gè)令牌的額外訓(xùn)練，產(chǎn)生了包含文本和代碼的1.5萬億個(gè)token的大量語料庫。

　　MPT-7B-8k-Instruct: 該模型專為長格式教學(xué)任務(wù)而設(shè)計(jì)，包括總結(jié)和問答。它是通過使用精心策劃的數(shù)據(jù)集對(duì) MPT-7B-8k 進(jìn)行微調(diào)而制作的。

　　MPT-7B-8k-Chat: 此變體充當(dāng)類似聊天機(jī)器人的模型，專注于對(duì)話生成。它是通過使用約15億個(gè)聊天數(shù)據(jù)token對(duì) MPT-7B-8k 進(jìn)行微調(diào)而創(chuàng)建的。

　　Mosaic 聲稱，MPT-7B-8k 模型表現(xiàn)出與當(dāng)前其他具有8k 上下文長度的開源模型相當(dāng)或更好的性能，該公司的上下文學(xué)習(xí)評(píng)估工具證實(shí)了這 一點(diǎn)。