從截圖到應用 新基準考驗模型交互推斷力

從相似到可用

現時的生成式模型拿到幾張網站截圖，已能快速生成一個外觀相當相似的網頁。但真正操作時問題便會浮現：加入購物車後購物車會否更新、切換頁面後先前狀態能否保留，這些動態行為直接決定網頁是否實用。

UI2App關注的正是這一落差，指出可用的網頁生成不應停留在視覺層面的復現，而需理解並實現應用的實際邏輯，否則結果只是形似而缺乏功能。

交互推斷的定義

該基準把考察點定為「交互推斷」（Interaction Inference）：不提供功能說明、點擊軌迹或交互示範，只給予靜態介面截圖，要求模型自行推斷其中隱含的應用行為，並在生成的應用中加以實現。

這對模型的介面理解能力提出更高要求：不僅要識別畫面上的各種元素，還要推斷元素背後的狀態變化與業務邏輯，難度已遠超單純的視覺複製。

基準與資源公開

團隊已公開相關論文、項目主頁與代碼，研究人員可藉此復現實驗，比較不同模型在交互推斷任務上的表現，為介面生成方向提供統一的評測標尺。

通過公開的基準與測試條件，不同模型之間的差距可以更直觀地呈現，亦有助開發者評估介面生成技術距離真正可用的產品形態尚有多遠，推動相關研究持續改進。