IXThinker·2025-03-15 19:50

DyT替代LayerNorm論文入選CVPR

歸一化長期被視為現代神經網絡不可或缺的組件，何愷明與LeCun團隊提出的DyT（Dynamic Tanh）卻以極簡方式將其替代，性能達到甚至超越標準Transformer。

方法細節

DyT直接替代Transformer中的LayerNorm或RMSNorm模組，只需幾行PyTorch代碼即可實現；實驗顯示替換後的性能達到或超過標準模型，證明歸一化並非必需設計。