IXThinker·2025-02-24 15:30

首個中文視覺問答基準出爐 o1視覺能力居首

淘天集團未來生活實驗室推出首個面向事實知識的中文視覺問答基準ChineseSimpleVQA，含2200道高質量問題。測試發現OpenAI o1視覺能力最強，而各款視覺大模型普遍存在「過於自信」的毛病。

基準如何構建

ChineseSimpleVQA涵蓋人文、科學、工程等8大話題及56個子話題，共2200道題，旨在系統性衡量視覺大模型的事實準確性，全面探測模型在各領域的視覺識別能力與知識水平，屬首個此類中文評測集。