性能超越LLaMA2-7B！AI模型JetMoE-8B訓練成本不到10萬美元

　　JetMoE-8B是一款采用稀疏激活架構的人工智能模型，其性能卓越且訓練成本不到10萬美元，令人驚訝的是，它的表現(xiàn)甚至超越了LLaMA2-7B、LLaMA-13B和DeepseekMoE-16B。

　　JetMoE-8B由24個塊組成，每個塊包含兩個MoE層:注意力頭混合(MoA)和MLP專家混合(MoE)。每個MoA和MoE層有8個專家，并且每個輸入令牌激活2個專家。這種獨特的設計使得在不犧牲性能的情況下顯著降低了計算成本。

　　值得一提的是，盡管JetMoE-8B的總參數(shù)量達到80億，但由于其特殊的架構設計，每個輸入令牌僅激活約22億參數(shù)，從而大大減少了總體的計算需求。

　　此外，JetMoE-8B的訓練完全依賴于公開數(shù)據(jù)，并且整個訓練過程，包括代碼，都是完全開源的，這無疑為AI領域的研究和應用提供了極大的便利。

　　在與Open LLM排行榜相同的評估方法下，JetMoE-8B的性能表現(xiàn)優(yōu)于LLaMA2-7B、LLaMA-13B和DeepseekMoE-16B，這一結果無疑是對其高效性能的最好證明。

　　與此同時，與具有類似訓練和推理計算的模型(如Gemma-2B)相比，JetMoE-8B展示了更優(yōu)異的表現(xiàn)。這不僅證明了其在性能上的優(yōu)勢，也展示了其在成本效益上的顯著優(yōu)勢。