孟子3-13B大模型正式開(kāi)源

　　瀾舟科技近日宣布，其研發(fā)的孟子3-13B大模型正式開(kāi)源，并向?qū)W術(shù)研究領(lǐng)域全面開(kāi)放，同時(shí)支持免費(fèi)商用。這一輕量化大模型在多項(xiàng)基準(zhǔn)測(cè)試中展現(xiàn)了優(yōu)異的性能，特別是在參數(shù)量20B以內(nèi)的模型中，其中英文語(yǔ)言能力尤為突出，數(shù)學(xué)和編程能力也位于行業(yè)前列。

　　孟子3-13B大模型基于Llama架構(gòu)，經(jīng)過(guò)高達(dá)3T Tokens的數(shù)據(jù)集訓(xùn)練，該數(shù)據(jù)集包括網(wǎng)頁(yè)、百科、社交、媒體、新聞以及高質(zhì)量的開(kāi)源數(shù)據(jù)集。模型在萬(wàn)億tokens上進(jìn)行了多語(yǔ)言語(yǔ)料的繼續(xù)訓(xùn)練，使其中文能力得到顯著提升，同時(shí)也具備了強(qiáng)大的多語(yǔ)言處理能力。

　　為了便于用戶快速部署和使用，瀾舟科技提供了簡(jiǎn)單的兩步操作。首先，用戶需要進(jìn)行環(huán)境配置，通過(guò)pip命令安裝必要的依賴。隨后，用戶可以通過(guò)提供的代碼快速開(kāi)始使用模型，進(jìn)行基礎(chǔ)的交互推理。此外，瀾舟科技還提供了樣例代碼和模型微調(diào)的相關(guān)文件和代碼，以便用戶根據(jù)自己的需求進(jìn)行定制和優(yōu)化。

　　瀾舟科技的選擇背后有著明確的商業(yè)考量。公司專注于服務(wù)ToB場(chǎng)景，并在實(shí)踐中發(fā)現(xiàn)，ToB場(chǎng)景中使用頻率最高的大模型參數(shù)量集中在10B-100B之間。從投資回報(bào)率角度出發(fā)，這一參數(shù)規(guī)模范圍的模型既能滿足場(chǎng)景需求，又具有高性價(jià)比。因此，瀾舟科技致力于在這一參數(shù)規(guī)模范圍內(nèi)打造優(yōu)質(zhì)的行業(yè)大模型。

　　孟子3-13B大模型的開(kāi)源，是瀾舟科技在大模型領(lǐng)域的又一重要里程碑。去年3月，瀾舟科技發(fā)布了孟子GPT V1(MChat)，今年1月，孟子大模型GPT V2對(duì)公眾開(kāi)放。現(xiàn)在，感興趣的用戶可以通過(guò)GitHub、HuggingFace、ModelScope和Wisemodel等平臺(tái)體驗(yàn)和使用孟子3-13B大模型。

　　隨著孟子3-13B大模型的開(kāi)源，瀾舟科技進(jìn)一步鞏固了其在AI大模型行業(yè)的領(lǐng)先地位，并為學(xué)術(shù)研究和商業(yè)應(yīng)用提供了強(qiáng)大的支持。這一舉措無(wú)疑將推動(dòng)大模型技術(shù)的發(fā)展和應(yīng)用，為AI產(chǎn)業(yè)的進(jìn)步貢獻(xiàn)力量。