IXThinker·2025-04-04 12:30

PaperBench評測Claude復現論文奪冠

OpenAI開源新基準PaperBench，讓六款前沿大模型驅動的Agent比拼從零復現AI頂會論文的能力。結果新版Claude 3.5 Sonnet斷崖式領先奪冠，第二名o1-high的分數僅及其六成。

基準設計

PaperBench要求Agent復刻來自ICML 2024的論文，任務涵蓋理解論文、編寫代碼與執行實驗。與去年考驗機器學習工程能力的MLE-Bench相比，新基準更重視綜合能力而非單一任務。