IXThinker·2025-05-29 13:10

Sakana AI推數獨基準 大模型正確率僅15%

Transformer作者之一Llion Jones創立的Sakana AI發布數獨能力排行榜，基準Sudoku-Bench涵蓋4×4至9×9數獨，測試顯示大模型總體正確率僅15%，高性能模型亦在難題上全軍覆沒，邏輯推理短板再度曝光。

基準設計

Sakana AI曾推出自帶十篇完整學術論文的「AI科學家」，如今再推出全新基準Sudoku-Bench。題集從簡單的4×4數獨到複雜的9×9現代數獨皆有覆蓋，旨在考驗大模型的創造性推理能力，項目已在網上開放。