IXThinker IXThinkerAI 動態 睇晒最新動態 →
IXThinker·2026-11-05 02:57

完成任務耗時取代流式速度:AI基準新指標

產業動態產品更新

獨立評測機構Artificial Analysis在11月4日宣布其API性能基準的下一版本,把比較模型的頭條指標改為Time per Task(完成任務耗時),衡量一項任務要等多久,而非模型每秒流出多少token。

指標改為任務耗時

新版本以Time per Task為主要比較指標,即一項任務要等多久才能完成,取代以往以每秒輸出token量為先的量度方式,令不同模型之間的比較更接近真實使用情境。

17分鐘對26分鐘

在新指標下,GPT-6 Astra完成一項任務約需17分鐘,快於Claude Opus 5.5的約26分鐘,兩者在任務層面的耗時相差接近九分鐘。

配套量度調整

除了指標改動,該機構同時調整量度細節:端到端輸出速度改為從發出請求起算,把等待首個token的時間一併計入;每次測量均加入智能體工作負載,貼近實際應用場景。

新增effort檔位基準

基準亦新增按各實驗室API預設effort設定的量度,與最高effort並列。effort是控制模型推理投入程度的檔位,此舉反映同一模型在不同設定下的表現差異將被並排比較。