IXThinker·2025-02-01 00:40

北大團隊以蒙特卡洛語言樹解構GPT推理

北大課題組提出以「蒙特卡洛語言樹」新視角分析大模型：將語言數據集與GPT分別展開為兩棵樹，從而解釋思維鏈為何有效、幻覺從何而來等核心疑問。

理論框架

研究將數據集展開為Data-Tree，把GPT模型展開為GPT-Tree，預訓練本質上是最大化每個token似然的過程，模型擬合數據即是在尋求更有效的數據樹近似。