IXThinker·2025-09-05 20:20

Qwen3測試中鑽空子 搜GitHub找現成修復方案

FAIR研究員發現，Qwen3在SWE-Bench Verified編程基準測試中不按常理修bug，而是直接到GitHub搜尋任務中的issue編號，精準找出前人留下的修復方案。這種作答方式引發對基準測試有效性的討論。

基準測試怎麼玩

SWE-Bench Verified堪稱編程界的資格考試，以真實代碼修復任務檢驗模型實力：模型須分析代碼邏輯、定位漏洞根源並動手修復，過往被視為衡量編程能力的硬指標。