Vercel Labs 新工具:給代理 ref,不給座標

大約兩年裡,「會用電腦的 AI」的標準展示都是同一個樣子:截一張圖,模型猜按鈕在哪,在像素 (847, 412) 合成一次點擊,再截一張圖看有沒有反應。
它成功的頻率夠拍影片,失敗的頻率夠讓產品沒法用。Vercel Labs 本週發了一個 CLI,直接把猜這一步刪掉,README 的第一句就是全部論點:透過作業系統輔助使用樹讀取和操作桌面應用程式。
倉庫是 vercel-labs/agent-desktop,Apache-2.0,一天漲了約 3,800 星。
ref 就是那個想法
大約從 2005 年起,每個作業系統都維護著一份「螢幕上有什麼」的結構化描述。螢幕閱讀器讀的就是它。它知道那裡有個按鈕,標籤是「Export」,處於可用狀態,在一個對話框裡,而對話框屬於某個視窗。
agent-desktop 對這棵樹拍快照,回傳 JSON。每個代理能操作的元件都有一個 ref。代理對 ref 執行動作,再拍一次快照看變化。
就這樣。沒有座標,迴圈裡沒有視覺模型,沒有像素比對。迴圈留在你的代理裡。
結果是失敗模式換了形狀。基於像素的自動化失敗,是悄悄點錯東西,三步之後才發現匯出的是錯的檔案。基於 ref 的自動化失敗,是找不到 ref,很吵、立刻、可除錯。後者才撐得起產品。

每次呼叫獨立行程,買的是什麼
README 對一件同業普遍含糊的事說得很清楚:每次 CLI 呼叫都在自己的行程裡跑。
聽起來像實作細節。其實是一條安全屬性。長期常駐的桌面自動化守護行程會累積狀態、佔用控制代碼,最後變成一個能把你的工作階段卡死的東西。一次性行程——拍快照、執行、結束、回傳 JSON——終止很容易,稽核也很容易。呼叫卡住,你終止一個行程,不是一台機器。
第二條屬性說得更直白:無頭呼叫依然禁止前景啟用和合成輸入。所以它不是一只劫持你滑鼠的機器人。它讀樹,能對元件動手,但不會在凌晨兩點把一個視窗拉到你面前。
這兩條放在一起,描述的是一個為背景工作設計的工具——那種不體面的活:代理去看一個儀表板、讀一張表、匯出一份報告,不需要人盯著。
安裝只有一行,這就是重點
npm install -g agent-desktop
agent-desktop version
套件裡帶原生二進位檔和平台輔助程式,涵蓋 macOS、Windows、Linux 的 x64 和 ARM64。Bun、Yarn、pnpm 裝的是同一個東西。不想讓 JavaScript 啟動器留在 PATH 裡,發布頁上有原生壓縮檔,放哪都行。
還有一個 C 函式庫,這對想把它嵌進更大系統的人更有意思。CLI 只是一層殼,底下是一個讀三個作業系統輔助使用 API 的函式庫。那才是這個問題的難點,也是歷史上每個需要它的團隊都各自糟糕地重複過一遍的部分。
隱私那一節寫得異常直接
大多數 README 會把這段埋起來。這份放在第三段:
「快照、剪貼簿讀取、截圖、指令輸出和除錯產物都可能包含私密的桌面內容。別讓它們進公開日誌和上傳。」
這不是免責聲明,是攻擊面描述。一份桌面輔助使用快照,就是桌上一切的清單:視窗標題、文件名稱、郵件主旨、聊天參與者名字、表單欄位標籤。你把它餵給託管模型,就是在上傳你一天工作的目錄。
README 還單獨標了一個可選的輔助元件,會把螢幕描述發給設定好的模型供應商,並明確把它和原生 CLI 分開。這個分隔是對的,啟用之前值得先讀程式碼。
還有一層二階問題,目前沒人有好的答案。螢幕閱讀器一直有這種權限,我們接受它,因為對特定族群來說替代方案更糟。代理有這種權限,是因為這樣自動化才可靠。同樣的能力,完全不同的威脅模型。如果在公司裡部署,「哪些行程可以查輔助使用樹」是個真實的政策問題,不是工具能替你回答的。
和另外兩條路的對比
讓代理操作軟體有三條路,正在各自收斂到不同的生態位。
像素級 computer use——截圖、座標、點擊。什麼都能用,包括沒有輔助使用支援的應用程式、遠端桌面、canvas 算繪的介面。脆弱、慢,每一步都要一個視覺模型。
CLI 和 API 外殼——給每個應用一條命令列。快且確定,但得有人去寫外殼,而大多數桌面軟體永遠不會有人寫。
輔助使用樹——中間那條路。結構化、語意化、不需要視覺模型,任何遵守平台慣例的應用程式都能用。自己畫介面的應用程式上會失敗。
中間這條路有意思的地方在於,它是唯一一條「代理對螢幕的理解」等於「帶螢幕閱讀器的人的理解」的路。這是個真實的約束,而且有用:它意味著代理看到的介面,本身就是無障礙合規要求必須存在的那個介面。你不是在建一個平行世界。
我會先測什麼
兩個實驗,都很便宜。
一,給你最常用的五個應用程式拍快照,看 JSON。樹的品質立刻告訴你這條路對你的負載行不行。Electron 應用程式通常不錯。2011 年的 Java Swing 應用程式通常很糟。自繪 canvas 基本沒救,而且沒有修法。
二,量快照大小。一個繁忙視窗的單次快照如果是 400 KB JSON,你就有上下文預算問題,時間會花在寫過濾器而不是寫自動化上。工具給你樹;決定給模型看什麼,還是你的事。
更大的點是,「computer use」正在從展示品類變成一門工程學科。贏的實作不會是視覺模型最好的那些,而是視覺用得最少的那些——因為要弄清一個按鈕寫著 Export,視覺是最貴也最不可靠的辦法。
相關文章
Antigravity 2.29 把代理搬進雲端 VM,語音只能放行小事
任務改在 Google 託管的雲端 VM 裡跑,蓋上筆電也不停。代價是本機的 MCP 伺服器、外掛與 skills 全部用不到,而語音只准放行不痛不癢的權限。
NVIDIA 放四顆 Cosmos 3 世界模型,還有一個快 25 倍的解碼器
四顆 16B 檢查點加上後訓練配方與程式碼,可以自己調成自家感測器配置。NVIDIA 同時明說:這些模型能否當訓練環境,還有待測量。
GitHub 熱榜四分之一是 agent skills,安裝方式卻有四套
熱榜 15 個倉庫裡有 4 個是 agent skills 合集,第 5 個附了 skill 包裝。採用沒問題,問題是同一個物件有四套互不相容的安裝方式,以及沒人處理的優先順序與信任問題。
Inkling 2 Small 拿下 86.3%,權重卻還要再等一週
Inkling 2 Small 在 SWE-Bench Pro v2 Hard 拿到 86.3%,還能自己微調別人的模型。但 Apache 2.0 權重還沒放出來,也沒給日期。