幻方DeepSeek-V2系列模型已在魔搭社區(qū)開源

　　魔搭ModelScope社區(qū)宣布，DeepSeek-V2系列模型現(xiàn)已在魔搭ModelScope社區(qū)開源。

　　據(jù)悉，幻方公司在5月6日推出了第二代 MoE 模型 DeepSeek-V2，并開源了技術(shù)報告和模型權(quán)重，該模型引入了 MLA 架構(gòu)和自研 Sparse 結(jié)構(gòu) DeepSeekMoE，以236B 總參數(shù)、21B 激活，實際部署在8卡 H800機器上，輸入吞吐量超過每秒10萬 tokens 輸出超過每秒5萬 tokens。

　　性能方面，在目前大模型主流榜單中，DeepSeek-V2均表現(xiàn)出色:

　　中文綜合能力(AlignBench)開源模型中最強，與GPT-4-Turbo，文心4.0等閉源模型在評測中處于同一梯隊

　　英文綜合能力(MT-Bench)與最強的開源模型LLaMA3-70B同處第一梯隊，超過最強MoE開源模型Mixtral8x22B

　　知識、數(shù)學(xué)、推理、編程等榜單結(jié)果也位居前列

　　支持128K上下文窗口

　　和DeepSeek67B相比，DeepSeek-V2節(jié)約了42.5%訓(xùn)練成本，推理的KV Cache節(jié)約了93.3%，最大吞吐是之前的576%。

　　DeepSeek-V2的推理代碼和模型下載鏈接已經(jīng)在魔搭 ModelScope 社區(qū)開源，用戶可以通過該平臺直接下載模型。