IXThinker·2025-03-20 19:20

研究指多模態模型評測冗餘過半實例可省略

上海AI Lab、上海交通大學與浙江大學的最新研究顯示，當前流行的多模態大模型基準測試普遍存在大量冗餘，評測工作中可能有相當部分屬於「重複勞動」。

大規模掃描

團隊在超過20個主流多模態基準和100多個模型上進行系統性掃描，發現不少有趣的結果：許多基準將實例數量減少一半，也不會顯著影響被測多模態模型的排名。