IXThinker·2025-02-20 18:30

Kimi公開MoBA機制 百萬字長文提速6.5倍

Kimi背後的長上下文處理機制曝光：新注意力機制MoBA將處理1M長文本的速度提升6.5倍，且已在Kimi平台實際驗證。這項耗時一年半的工作與DeepSeek同期關注長文注意力，被稱為再度「撞車」。

分塊注意力

MoBA的核心是把完整上下文劃分成塊，讓每個查詢token自動關注最相關的KV塊，從而高效處理長序列數據；這種設計將MoE專家混合的思路應用於注意力機制。