← 返回部落格
Ai預計閱讀 8 分鐘

Vercel Labs 新工具:給代理 ref,不給座標

發布於 2026年11月11日
Vercel Labs 新工具:給代理 ref,不給座標

大約兩年裡,「會用電腦的 AI」的標準展示都是同一個樣子:截一張圖,模型猜按鈕在哪,在像素 (847, 412) 合成一次點擊,再截一張圖看有沒有反應。

它成功的頻率夠拍影片,失敗的頻率夠讓產品沒法用。Vercel Labs 本週發了一個 CLI,直接把猜這一步刪掉,README 的第一句就是全部論點:透過作業系統輔助使用樹讀取和操作桌面應用程式。

倉庫是 vercel-labs/agent-desktop,Apache-2.0,一天漲了約 3,800 星。

ref 就是那個想法

大約從 2005 年起,每個作業系統都維護著一份「螢幕上有什麼」的結構化描述。螢幕閱讀器讀的就是它。它知道那裡有個按鈕,標籤是「Export」,處於可用狀態,在一個對話框裡,而對話框屬於某個視窗。

agent-desktop 對這棵樹拍快照,回傳 JSON。每個代理能操作的元件都有一個 ref。代理對 ref 執行動作,再拍一次快照看變化。

就這樣。沒有座標,迴圈裡沒有視覺模型,沒有像素比對。迴圈留在你的代理裡。

結果是失敗模式換了形狀。基於像素的自動化失敗,是悄悄點錯東西,三步之後才發現匯出的是錯的檔案。基於 ref 的自動化失敗,是找不到 ref,很吵、立刻、可除錯。後者才撐得起產品。

螢幕上以純文字行呈現的面板與按鈕巢狀結構,前景是一只鍵盤

每次呼叫獨立行程,買的是什麼

README 對一件同業普遍含糊的事說得很清楚:每次 CLI 呼叫都在自己的行程裡跑。

聽起來像實作細節。其實是一條安全屬性。長期常駐的桌面自動化守護行程會累積狀態、佔用控制代碼,最後變成一個能把你的工作階段卡死的東西。一次性行程——拍快照、執行、結束、回傳 JSON——終止很容易,稽核也很容易。呼叫卡住,你終止一個行程,不是一台機器。

第二條屬性說得更直白:無頭呼叫依然禁止前景啟用和合成輸入。所以它不是一只劫持你滑鼠的機器人。它讀樹,能對元件動手,但不會在凌晨兩點把一個視窗拉到你面前。

這兩條放在一起,描述的是一個為背景工作設計的工具——那種不體面的活:代理去看一個儀表板、讀一張表、匯出一份報告,不需要人盯著。

安裝只有一行,這就是重點

npm install -g agent-desktop
agent-desktop version

套件裡帶原生二進位檔和平台輔助程式,涵蓋 macOS、Windows、Linux 的 x64 和 ARM64。Bun、Yarn、pnpm 裝的是同一個東西。不想讓 JavaScript 啟動器留在 PATH 裡,發布頁上有原生壓縮檔,放哪都行。

還有一個 C 函式庫,這對想把它嵌進更大系統的人更有意思。CLI 只是一層殼,底下是一個讀三個作業系統輔助使用 API 的函式庫。那才是這個問題的難點,也是歷史上每個需要它的團隊都各自糟糕地重複過一遍的部分。

隱私那一節寫得異常直接

大多數 README 會把這段埋起來。這份放在第三段:

「快照、剪貼簿讀取、截圖、指令輸出和除錯產物都可能包含私密的桌面內容。別讓它們進公開日誌和上傳。」

這不是免責聲明,是攻擊面描述。一份桌面輔助使用快照,就是桌上一切的清單:視窗標題、文件名稱、郵件主旨、聊天參與者名字、表單欄位標籤。你把它餵給託管模型,就是在上傳你一天工作的目錄。

README 還單獨標了一個可選的輔助元件,會把螢幕描述發給設定好的模型供應商,並明確把它和原生 CLI 分開。這個分隔是對的,啟用之前值得先讀程式碼。

還有一層二階問題,目前沒人有好的答案。螢幕閱讀器一直有這種權限,我們接受它,因為對特定族群來說替代方案更糟。代理有這種權限,是因為這樣自動化才可靠。同樣的能力,完全不同的威脅模型。如果在公司裡部署,「哪些行程可以查輔助使用樹」是個真實的政策問題,不是工具能替你回答的。

和另外兩條路的對比

讓代理操作軟體有三條路,正在各自收斂到不同的生態位。

像素級 computer use——截圖、座標、點擊。什麼都能用,包括沒有輔助使用支援的應用程式、遠端桌面、canvas 算繪的介面。脆弱、慢,每一步都要一個視覺模型。

CLI 和 API 外殼——給每個應用一條命令列。快且確定,但得有人去寫外殼,而大多數桌面軟體永遠不會有人寫。

輔助使用樹——中間那條路。結構化、語意化、不需要視覺模型,任何遵守平台慣例的應用程式都能用。自己畫介面的應用程式上會失敗。

中間這條路有意思的地方在於,它是唯一一條「代理對螢幕的理解」等於「帶螢幕閱讀器的人的理解」的路。這是個真實的約束,而且有用:它意味著代理看到的介面,本身就是無障礙合規要求必須存在的那個介面。你不是在建一個平行世界。

我會先測什麼

兩個實驗,都很便宜。

一,給你最常用的五個應用程式拍快照,看 JSON。樹的品質立刻告訴你這條路對你的負載行不行。Electron 應用程式通常不錯。2011 年的 Java Swing 應用程式通常很糟。自繪 canvas 基本沒救,而且沒有修法。

二,量快照大小。一個繁忙視窗的單次快照如果是 400 KB JSON,你就有上下文預算問題,時間會花在寫過濾器而不是寫自動化上。工具給你樹;決定給模型看什麼,還是你的事。

更大的點是,「computer use」正在從展示品類變成一門工程學科。贏的實作不會是視覺模型最好的那些,而是視覺用得最少的那些——因為要弄清一個按鈕寫著 Export,視覺是最貴也最不可靠的辦法。

相關文章