IXThinker·2026-03-28 14:10

拆解Transformer混合專家架構原理

過去幾年，稠密大語言模型的擴展推動了行業主要進展，從3000萬參數的ULMFiT到數千億參數的巨型模型，數據越多加參數越多等於性能越好的思路一直奏效，但現實瓶頸也隨之而來。

規模擴展史

早期的ULMFiT約有3000萬參數，GPT-2的15億參數當時甚至被認為過於危險而不宜發布，而如今系統已達數千億參數。縮放定律進一步強化了這一趨勢。