螞蟻開放560B模型 25B激活1M上下文

模型規格

模型卡列出的核心規格為總參數560B，每個token激活25B，上下文窗口達1M token，屬於總參數龐大而單次激活量很小的設計取向。

在時間安排上，該模型於北京時間10月27日13時46分上架，頁面時間戳顯示倉庫創建於同日05時46分（UTC），發布時間與建立倉庫的時間互相對應。

架構組成

架構方面，模型採用63層KDA（Kimi Delta Attention，線性注意力）加上9層Gated MLA（門控多頭潛在注意力）的組合。

整體屬於混合線性MoE（專家混合）架構，由線性注意力與門控多頭潛在注意力兩類組件組成，此一設計亦與模型卡的技術描述完全一致。

發布背景

這次上架兌現了團隊早前的預告：10月22日，團隊曾就相關模型作出預告，相隔五日後正式開放權重，由預告到發布的節奏相當緊湊。

InclusionAI為螞蟻集團旗下百靈團隊，Ling系列是其開放權重產品線，今次版本編號3.1-flash-1019亦標示其屬於Ling系列的迭代版本。