月之暗面推遲Kimi K3開訓 驗證新注意力架構
月之暗面推遲了2.8萬億參數旗艦模型Kimi K3的開訓時間,讓團隊先行驗證Attention Residuals新架構,這項由楊植麟拍板的決定,成為大模型競賽中技術取捨的典型案例。
開訓時間主動押後
2026年3月,幾名Kimi年輕研究員提出把Attention Residuals新架構放進下一代旗艦模型K3,行政總裁楊植麟最終拍板,同意推遲開訓,為驗證留出時間窗口。
降低開銷成為關鍵
Attention Residuals最初被評估為完整版開銷無法承擔,研究員張宇與當時年僅17歲的高中生陳廣宇提出分塊方案Block AttnRes,把新架構從設想變成可落地的技術路線。
想法源於蘇劍林
這項架構的原始構想來自研究員蘇劍林,經團隊成員接力改進後才具備實用條件,整條鏈路展現了年輕研究團隊在大模型關鍵技術上快速迭代與互相補位的協作能力。
進度與質量的取捨
大模型訓練的時間表上,搶先發布與充分驗證經常構成矛盾,月之暗面選擇以推遲換取架構驗證,反映頭部廠商對基座模型可靠性的重視,也將影響後續版本的迭代節奏。
