IXThinker·2025-03-31 10:50

高中生用Minecraft評測AI Claude居首

大型模型可通過多項人類高難度考試，卻算不清strawberry有幾個字母r。這種反差催生了創意評測，其中由一名高中生開發的MC-Bench，用Minecraft方塊「競技場」評價AI能力。

評測痛點

現今大型模型通過各類複雜基準測試已是家常便飯，例如DeepSeek-R1發布時就在多項基準上取得佳績；但它們在人類看來極簡單的任務上卻頻頻出錯，數strawberry裡有幾個r便是典型例子，反映現有評測與真實能力存在落差。