摩爾線程支持DeepSeek開源通信庫(kù)和并行算法 提升大模型訓(xùn)練效率

　　在 DeepSeek 開源周第四日，摩爾線程宣布成功支持 DeepSeek 的開源通信庫(kù) DeepEP 和并行算法 DualPipe，并發(fā)布相關(guān)代碼倉(cāng)庫(kù)：MT-DeepEP 和 MT-DualPipe。

　　DeepEP 是專為 MoE(混合專家)模型訓(xùn)練和推理設(shè)計(jì)的通信庫(kù)，適用于大模型集群訓(xùn)練。它通過優(yōu)化通信信道使用率，顯著提升了訓(xùn)練效率。摩爾線程基于 MUSA Compute Capability 3.1 全功能 GPU 適配了 DeepEP，支持高效 All-to-All 通信、節(jié)點(diǎn)內(nèi)通信、高吞吐量計(jì)算核心及低延遲推理解碼等功能，并原生支持 FP8 數(shù)據(jù)分發(fā)。

　　DualPipe 則是 DeepSeek-V3 提出的雙向流水線并行算法，通過計(jì)算與通信完全重疊，減少了設(shè)備空閑等待現(xiàn)象。摩爾線程依托深度學(xué)習(xí)框架 Torch-MUSA 和 MUSA 軟件棧的兼容性，實(shí)現(xiàn)了對(duì) DualPipe 的支持。MT-DualPipe 可接入 MT-Megatron 和即將開源的 MT-TransformerEngine 框架，進(jìn)一步降低氣泡占比，優(yōu)化通信效率，實(shí)現(xiàn)更高效的計(jì)算資源利用。