IXThinker·2025-04-02 16:30

DyT：Transformer毋須歸一化層訓練

歸一化層多年來被視為神經網絡訓練的標配，但一項新研究對此提出挑戰：以簡單的Dynamic Tanh取代歸一化層，Transformer照樣能夠穩定高效地訓練，表現甚至更優，成果引人矚目。

固有認知被挑戰

近年來，歸一化層在神經網絡中獲得廣泛應用，被認為是提高收斂速度和穩定性的重要組件，幾乎是模型設計的既定配置。這項研究提出的問題十分直接：沒有它，Transformer是否也能訓練得又快又穩？