卡內基梅隆研究：拆解LLM推理能力的訓練來源

黑箱訓練的普遍焦慮

當前大語言模型訓練嚴重依賴龐大且不透明的互聯網語料，令模型呈現典型的黑箱特徵。業內既難以界定預訓練所包含的內容，也無法確定能力提升的具體來源。

尤其在後訓練環節，基於強化學習的提升究竟是習得了新技能，還是激活放大了已有能力，長期缺乏清晰答案；中期訓練的討論則更為稀少，研究空白明顯。