Adept AI開源8億參數(shù)語言模型Persimmon-8B

　　Anthropic公司最近開源了Persimmon-8B，這是目前參數(shù)量少于10億的完全免許可使用的最強(qiáng)大語言模型。該模型采用Apache許可證發(fā)布，代碼和權(quán)重已在GitHub上開源。

　　Anthropic的目標(biāo)是開發(fā)一個(gè)可以協(xié)助用戶完成各種計(jì)算機(jī)操作的AI助手。他們并不專注于開發(fā)獨(dú)立的語言模型，但Persimmon-8B是他們模型擴(kuò)展計(jì)劃的早期產(chǎn)出，可以給社區(qū)提供一個(gè)更強(qiáng)大的8億參數(shù)語言模型以進(jìn)行各種創(chuàng)新應(yīng)用的開發(fā)。8億參數(shù)量的模型可以在單個(gè)GPU上進(jìn)行微調(diào)，在現(xiàn)代筆記本電腦上以合適的速度運(yùn)行，甚至可以容納在移動設(shè)備上。

　　Persimmon-8B具有幾個(gè)突出特點(diǎn):

　　1、這是目前開源的、完全免許可使用的參數(shù)量少于10億的最強(qiáng)大語言模型

　　2、使用16K的上下文長度進(jìn)行從頭訓(xùn)練，遠(yuǎn)超過LLaMA2的4K和GPT-3等模型的2K

　　3、基礎(chǔ)模型的性能甚至超過了LLaMA2，盡管訓(xùn)練數(shù)據(jù)量只有后者的37%

　　4、模型保留了70K個(gè)詞向量以進(jìn)行多模態(tài)擴(kuò)展，并采用了稀疏激活

　　5、提供了靈活快速的推理代碼實(shí)現(xiàn)，可以在一塊A100GPU上達(dá)到每秒生成56個(gè)token的速度

　　通過直接長序列訓(xùn)練，Persimmon-8B能夠捕捉更長的上下文關(guān)系，這為各種應(yīng)用帶來了獨(dú)特優(yōu)勢。Anthropic希望社區(qū)可以在該模型的基礎(chǔ)上進(jìn)行更多創(chuàng)新，同時(shí)也樂于聽到用戶的反饋。這只是一個(gè)早期小規(guī)模的開源，他們未來還計(jì)劃開源更多內(nèi)容。