IXThinker·2025-04-04 11:20

AI復現頂會論文僅得21%仍不及博士水平

OpenAI發布評測框架PaperBench，測試AI Agent能否從零復現頂會重磅研究。在20篇ICML 2024優秀論文的復現任務中，只有Claude 3.5 Sonnet表現相對突出，整體仍不及機器學習博士。

任務門檻極高

Agent需要理解論文思路、從零編寫代碼並成功執行實驗，完整重現研究成果。此類任務涉及長鏈路規劃與大量除錯，被視為檢驗AI自主科研能力的終極考題之一。