IXThinker·2025-01-09 19:40

港大Aria-UI以純視覺精準操控電腦與手機

香港大學團隊推出純視覺GUI智能體Aria-UI：無需讀取無障礙API或後台數據，僅憑視覺理解即可精準定位界面元素，在AndroidWorld與OSWorld基準上分別奪得第一名和第三名。

領域難題

如何將用戶的自然語言指令精準映射到界面元素，是智能助手處理跨平台任務的核心挑戰。傳統方案依賴調用無障礙API、解析HTML源碼或提取後台數據，普遍存在效率低、資訊不完整、兼容性差等痛點。