IXThinker·2025-02-27 23:30

JourneyBench基準揪出多模態模型高分低能

多模態模型在學術基準屢獲高分，真實應用卻常不及預期。新的綜合性視覺語言理解基準JourneyBench採用diffusion模型生成圖像與人機閉環框架，以五項挑戰任務衡量模型的真實推理能力，協助分辨「高分低能」。

為何需要新基準

現有模型在學術測試中表現優異，實際應用卻不盡人意，問題在於傳統基準難以反映真實場景的複雜性。如何準確分辨模型能力與測試分數的落差，成為評估環節的痛點。