IXThinker·2026-08-07 22:30

優化器調度策略影響大模型預訓練上限

大規模預訓練中，優化器的選擇影響深遠。Hyperball類優化器將隱式的球面運動顯式化，帶來更清晰的角步長控制，但初期表現欠佳、後期反超基線的現象，揭示學習率調度才是決定性能上限的關鍵變量。

優化器的球面視角

在大規模預訓練中，優化器是極重要的組件。近年以MuonH為代表的Hyperball優化器受到廣泛關注：它把普通優化器訓練中隱式形成的球面運動顯式化，令研究者能更直接控制模型參數方向的變化速度。