IXThinker·2026-01-12 12:40

七千萬小模型層數藏玄機 32層最佳

知名開源項目OpenEvolve作者以長文剖析70M小模型，發現架構的重要性遠低於想像，深度與寬度之比才是關鍵，而層數選擇更藏有玄學。結論一出，社區隨即掀起熱烈討論。

層數的玄學

實驗顯示12、32、64層的小模型表現良好，16、24、48層卻明顯較差，最佳層數為32。這種跳躍式的規律難以憑直覺解釋，一度令不少研究者覺得像是玄學，引發各種猜測與互動討論。