IXThinker·2025-01-04 00:40

多模態長文檔基準出爐 GPT-4o僅剛及格

針對多模態長文檔理解的評測集LongDocURL正式發布，整合長文檔理解、數值推理與跨元素定位三大主任務及20個細分子任務。測試結果顯示，連GPT-4o也僅得64.5分，其餘參測模型全部未及格。

專攻超長英文文檔

LongDocURL主打多模態與長上下文，專注50至150頁的英文文檔，平均頁數為85.6頁，平均文檔標記數達43622.6，規模遠超一般評測資料，用以檢驗模型處理長篇複雜文檔的真實能力。