IXThinker·2025-02-24 19:40

月之暗面改進Muon 訓練算力僅AdamW五成二

月之暗面團隊改進OpenAI研究人員提出的Muon優化器，找出其Scaling Law並證明可擴展至更大模型，訓練算力需求較AdamW大降48%，相關成果連同基於DeepSeek架構的16B MoE模型一併開源。

Muon懸而未決問題

Muon技術博客發布時主要適用於較小的模型和數據集，原作者留下三個懸而未決的問題：能否用於更大規模的訓練、能否在更大規模的GPU集群上使用等。這些疑問正是月之暗面團隊今次研究的切入點。