IXThinker·2025-08-13 05:05

分佈式正交更新革命 Muon與Dion

優化器領域正悄然醞釀革命。新興優化器Muon過去一年在多個AI實驗室嶄露頭角，可令訓練效率翻倍，模型性能相同時所需GPU減半。不過其大規模應用仍有難關，微軟研究院發文介紹的分佈式正交更新方案Dion，正是針對這一痛點的回應。

Muon崛起

Muon的核心思想是正交更新，源自對優化過程的深入理解。過去一年，它已在多個AI實驗室展現顯著優勢：訓練效率翻倍，達到相同模型性能所需的GPU數量減半，堪稱近年最矚目的優化器進展。