IXThinker·2025-01-03 12:00

GPT-4證實採用MoE架構 參數規模約1.76萬億

微軟一篇論文進一步揭開OpenAI模型的規模之謎：GPT-4完整版確認採用稀疏專家（MoE）架構，參數量約1.76萬億，與英偉達發布B200時透露的1.8T MoE說法吻合，多個模型的參數也一併列出。

MoE架構獲印證

英偉達2024年初發布B200時曾攤牌GPT-4是1.8T的MoE模型，微軟論文給出的數字更精確——約1.76萬億，兩者互相印證，令GPT-4採用稀疏專家架構的說法基本坐實。