IXThinker·2025-02-19 18:30

DeepSeek發布原生稀疏注意力NSA

DeepSeek發布最新研究成果原生稀疏注意力NSA論文，梁文鋒以共同作者身份參與。該技術有望大幅提升下一代大語言模型的長文本處理能力，同時兼顧效率與硬件友好。

核心貢獻

NSA（Native Sparse Attention）針對長文本處理的算力瓶頸，以硬件友好且高效的稀疏注意力設計，令模型處理超長上下文時保持效能，被視為LLM領域又一里程碑進展。