完成任務耗時取代流式速度:AI基準新指標
獨立評測機構Artificial Analysis在11月4日宣布其API性能基準的下一版本,把比較模型的頭條指標改為Time per Task(完成任務耗時),衡量一項任務要等多久,而非模型每秒流出多少token。
指標改為任務耗時
新版本以Time per Task為主要比較指標,即一項任務要等多久才能完成,取代以往以每秒輸出token量為先的量度方式,令不同模型之間的比較更接近真實使用情境。
17分鐘對26分鐘
在新指標下,GPT-6 Astra完成一項任務約需17分鐘,快於Claude Opus 5.5的約26分鐘,兩者在任務層面的耗時相差接近九分鐘。
配套量度調整
除了指標改動,該機構同時調整量度細節:端到端輸出速度改為從發出請求起算,把等待首個token的時間一併計入;每次測量均加入智能體工作負載,貼近實際應用場景。
新增effort檔位基準
基準亦新增按各實驗室API預設effort設定的量度,與最高effort並列。effort是控制模型推理投入程度的檔位,此舉反映同一模型在不同設定下的表現差異將被並排比較。
