IXThinker·2025-02-20 19:00

DeepSeek新注意力機制瞄準降低算力成本

DeepSeek的新注意力機制論文再度引爆討論：一邊是馬斯克以20萬張GPU訓練Grok 3，另一邊DeepSeek依舊專注壓縮計算與推理成本，NSA正是這一思路的最新產物。

直指成本痛點

NSA（Native Sparse Attention）是一種可原生訓練的稀疏注意力機制，目標明確：解決大模型上下文建模中標準注意力計算成本高昂的問題，在不影響性能前提下降低開銷。