實測難倒GUI Agent 全自動辦公仍遙遠
一項涵蓋23個真實系統、106個任務的實戰評測顯示,操作電腦界面的智能體在真實軟件場景表現遠低於預期,個別頂尖模型完成率不足4%,全自動辦公的想像與現實之間仍有顯著距離。
評測設計
這份名為SaaS-Bench的考卷由研究團隊構建,覆蓋23個真實軟件系統、106個任務,直接考察計算機使用類智能體在圖形界面上的實際操作能力,有別於以往偏重模擬環境的基準測試。


IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
