IXThinker·2025-03-08 16:10

微軟開源GUI解析工具二代 延遲降低60%

讓大模型「看懂」手機與電腦屏幕是GUI自動化的關鍵一步。微軟開源OmniParser V2，把截圖轉化為大模型可解讀的結構化元素，同時大幅降低推理延遲，令智能體操作界面更流暢。

行業痛點

以通用LLM充當GUI智能體存在兩大難點：如何可靠識別用戶界面中的可交互圖標，以及如何理解截圖中各種元素的語義，並將預期操作準確關聯到屏幕上的相應區域，一直制約自動化效果。