DeepSeek推出NSA 技術:加速長上下文訓練與推理

　　DeepSeek團隊最近發(fā)布了NSA(Native Sparse Attention)技術，旨在提升長上下文訓練和推理的速度，同時降低預訓練成本。該技術通過分層稀疏策略優(yōu)化了注意力機制，使得模型在處理長文本時表現(xiàn)出色。

　　NSA在多項基準測試中表現(xiàn)優(yōu)異，甚至在某些情況下超越了傳統(tǒng)的完全注意力模型，標志著人工智能訓練與推理技術的重大進步。

　　NSA技術顯著提升了長上下文訓練和推理的速度，并降低了預訓練成本。

　　采用分層稀疏策略，將注意力機制分為壓縮、選擇和滑動窗口，增強了模型對長文本的處理能力。

　　在多項基準測試中，NSA表現(xiàn)優(yōu)異，部分情況下超過了傳統(tǒng)的完全注意力模型。