IXThinker·2025-04-18 17:30

VCR-Bench評測影片推理 多數模型不及格

影片理解中的鏈式思維推理能力如何評測？中科大等團隊提出VCR-Bench基準，設七個獨立評估維度，每維度配逾百條高質量樣本。實測顯示，當前最強模型o1的CoT得分僅62.8，多數模型不及格。

七維度任務框架

VCR-Bench包含七個獨立評估維度，針對性考察模型的時空推理、因果推斷等不同能力，每個維度設計100餘條高質量樣本，確保評測的全面性與可靠性。