IXThinker·2026-05-26 15:10

浙大等團隊系統評測23種深度學習優化器

多所高校聯合團隊發表長篇綜述，系統回顧深度學習優化算法的演進，並針對多種模型架構與訓練場景評測主流優化器，指出大模型時代優化方法正面臨記憶體牆、通信牆與隱私牆三重挑戰。

三大瓶頸

綜述指出，反向傳播帶來的記憶體限制構成記憶體牆，分佈式訓練中的通信開銷形成通信牆，而處理敏感數據時的隱私保護難題則是隱私牆。三者均屬硬件與系統層面的約束，正在倒逼優化算法重新設計。