港科大調研274個代碼評測集：逾七成缺乏質量保證

評測集品質堪憂

近年大模型層出不窮，為衡量模型能力而設的各類評測集數量急速增長，然而這些評測集的質量參差不齊，可信度屢屢受到外界的公開質疑。

標準答案出錯、指令模糊或錯誤、題目重複、數據泄漏等問題時有出現，令外界對相關評測結果能否真實反映模型能力存有疑慮，影響研究判斷。