IXThinker·2025-06-07 16:40

神經熱力學定律：大模型訓練與熱力學暗合

除了神經標度律，大語言模型背後還藏着哪些規律？一項研究提出「神經熱力學定律」（NTL）框架，在河流-山谷損失景觀假設下，證明經典熱力學原理會在 LLM 訓練中自然湧現。

熱力學量湧現

研究證明，溫度、熵、熱容、熱傳導等關鍵熱力學量，以及熱力學三大定律、均分定理等經典原理，在「河流-山谷損失景觀」假設下自然湧現，為 LLM 訓練動力學提供了熱力學視角的理論基礎。