IXThinker·2025-06-06 09:40大語言模型尺度定律與二級相變猜想
大語言模型之所以能持續進化，背後依賴可預測的尺度定律。文章梳理其三大關鍵因素，並延伸至尺度定律與二級相變的猜想，探討模型能力的提升規律。
三大規模因素
尺度定律指出，模型性能與非嵌入參數數量、訓練數據集大小及訓練計算量密切相關；在這幾個維度擴大規模時，交叉熵損失會按冪律關係穩步下降。
IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文，仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入／註冊解鎖全文 →Google 或電郵地址即可，即刻解鎖。