IXThinker·2026-03-09 15:10

ContextBench拆解代碼智能體檢索短板

以SWE-bench為代表的基準只關注最終修復結果，新提出的ContextBench首次從過程維度評測代碼智能體，追蹤其是否精準找到並真正使用關鍵代碼片段，揭示多項深層短板。

基準革新

SWE-bench、SWE-bench Pro等代碼庫級評測推動了代碼智能體的發展，但它們衡量的是最終是否修好代碼。ContextBench則追蹤檢索過程本身，考察模型是否精準定位並實際使用關鍵片段。