IXThinker·2025-08-05 00:45

Kaggle推Game Arena實測模型互動表現

現有AI基準測試難以跟上模型進化：當模型在某些測試接近100%準確率，性能差異便難以區分，也難以判斷模型是真解題還是記憶了見過的答案。Kaggle因此推出公開競技平台Game Arena，測試模型在互動環境中的即時表現。

基準困境

基於互聯網數據訓練的模型，可能在基準測試中只是重現背誦過的答案；即使持續開發更具挑戰性的新基準，飽和與記憶化問題仍反覆出現，傳統評估方式的局限日益明顯。