arXiv 新論文審視機器心智理論 大模型測試表現存疑

高分背後的脆弱

大語言模型在錯誤信念測試題上屢屢刷出高分，表面看似乎已掌握推斷他人信念的能力；然而Ullman等人設計的一項實驗，簡單到令人尷尬。

研究人員僅對經典心智理論任務作出微不足道的改寫，所有大模型的表現便立即全面崩盤，高分背後的能力穩定性因此受到根本性的質疑。