IXThinker·2025-01-16 19:50

新基準揭大模型輸出長度有水分

陳丹琦團隊提出新基準LONGPROC，專門檢測長上下文模型處理複雜資訊並生成回覆的能力。結果發現各模型的實際輸出長度均低於標稱水平，GPT-4o在8K任務亦屬勉強。

標稱有水分

不少大模型的官方參數都聲稱可輸出長達32K tokens的內容，但實際數字存在水分。LONGPROC基準正是為檢測模型處理複雜長文並生成回覆的真實能力而設。