IXThinker·2025-08-04 13:40

從GPT-2到萬億參數 盤點頂流模型架構

從2019年的GPT-2到2025年的DeepSeek-V3、Llama 4，頂級開源模型的大結構七年來驚人地相似，但內裏細節持續進化。一篇技術盤點文章深入剖析當下頂流模型的架構創新，揭示效率與性能躍升背後的關鍵改動。

演進主線

表面看，GPT架構問世七年來整體未變，實則位置嵌入已從絕對位置編碼演進為旋轉位置編碼（RoPE），多頭注意力大多被分組查詢注意力（GQA）取代，這些改動在保持能力的前提下顯著降低推理成本。