← 返回博客
Ai预计阅读 8 分钟

Vercel Labs 的新工具:给智能体 ref,不给坐标

发布于 2026年11月11日
Vercel Labs 的新工具:给智能体 ref,不给坐标

大约两年里,「会用电脑的 AI」的标准演示都是同一个样子:截一张图,模型猜按钮在哪,在像素 (847, 412) 合成一次点击,再截一张图看有没有反应。

它成功的频率够拍视频,失败的频率够让产品没法用。Vercel Labs 本周发了一个 CLI,直接把猜这一步删掉,README 的第一句就是全部论点:通过操作系统辅助功能树读取和操作桌面应用。

仓库是 vercel-labs/agent-desktop,Apache-2.0,一天涨了约 3,800 星。

ref 就是那个想法

大约从 2005 年起,每个操作系统都维护着一份「屏幕上有什么」的结构化描述。屏幕阅读器读的就是它。它知道那里有个按钮,标签是「Export」,处于可用状态,在一个对话框里,而对话框属于某个窗口。

agent-desktop 对这棵树拍快照,返回 JSON。每个智能体能操作的元素都有一个 ref。智能体对 ref 执行动作,再拍一次快照看变化。

就这样。没有坐标,循环里没有视觉模型,没有像素匹配。循环留在你的智能体里。

结果是失败模式换了形状。基于像素的自动化失败,是悄悄点错东西,三步之后才发现导出的是错的文件。基于 ref 的自动化失败,是找不到 ref,很吵、立刻、可调试。后者才撑得起产品。

显示器上以纯文本行呈现的面板与按钮嵌套结构,前景是一只键盘

每次调用独立进程,买的是什么

README 对一件同行普遍含糊的事说得很清楚:每次 CLI 调用都在自己的进程里跑。

听起来像实现细节。其实是一条安全属性。长期驻留的桌面自动化守护进程会攒状态、占句柄,最后变成一个能把你会话卡死的东西。一次性进程——拍快照、执行、退出、返回 JSON——杀掉很容易,审计也很容易。调用卡住,你杀一个进程,不是一台机器。

第二条属性说得更直白:无头调用依然禁止前台激活和合成输入。所以它不是一只劫持你鼠标的机器人。它读树,能对元素动手,但不会在凌晨两点把一个窗口拽到你面前。

这两条放在一起,描述的是一个为后台工作设计的工具——那种不体面的活:智能体去看一个仪表盘、读一张表、导一份报告,不需要人盯着。

安装只有一行,这就是重点

npm install -g agent-desktop
agent-desktop version

包里带原生二进制和平台辅助程序,覆盖 macOS、Windows、Linux 的 x64 和 ARM64。Bun、Yarn、pnpm 装的是同一个东西。不想让 JavaScript 启动器留在 PATH 里,发布页上有原生压缩包,放哪都行。

还有一个 C 库,这对想把它嵌进更大系统的人更有意思。CLI 只是一层壳,底下是一个读三个操作系统辅助功能 API 的库。那才是这个问题的难点,也是历史上每个需要它的团队都各自糟糕地重复过一遍的部分。

隐私那一节写得异常直接

大多数 README 会把这段埋起来。这份放在第三段:

「快照、剪贴板读取、截图、命令输出和调试产物都可能包含私密的桌面内容。别让它们进公开日志和上传。」

这不是免责声明,是攻击面描述。一份桌面辅助功能快照,就是桌上一切的清单:窗口标题、文档名、邮件主题、聊天参与者名字、表单字段标签。你把它喂给托管模型,就是在上传你一天工作的目录。

README 还单独标了一个可选的辅助组件,会把屏幕描述发给配置好的模型提供商,并明确把它和原生 CLI 分开。这个分隔是对的,启用之前值得先读代码。

还有一层二阶问题,目前没人有好的答案。屏幕阅读器一直有这种权限,我们接受它,因为对特定人群来说替代方案更糟。智能体有这种权限,是因为这样自动化才可靠。同样的能力,完全不同的威胁模型。如果在公司里部署,「哪些进程可以查辅助功能树」是个真实的政策问题,不是工具能替你回答的。

和另外两条路的对比

让智能体操作软件有三条路,正在各自收敛到不同的生态位。

像素级 computer use——截图、坐标、点击。什么都能用,包括没有辅助功能支持的应用、远程桌面、canvas 渲染的界面。脆弱、慢,每一步都要一个视觉模型。

CLI 和 API 外壳——给每个应用一条命令行。快且确定,但得有人去写外壳,而大多数桌面软件永远不会有人写。

辅助功能树——中间那条路。结构化、语义化、不需要视觉模型,任何遵守平台规范的应用都能用。自己画界面的应用上会失败。

中间这条路有意思的地方在于,它是唯一一条「智能体对屏幕的理解」等于「带屏幕阅读器的人的理解」的路。这是个真实的约束,而且有用:它意味着智能体看到的界面,本身就是无障碍合规要求必须存在的那个界面。你不是在建一个平行世界。

我会先测什么

两个实验,都很便宜。

一,给你最常用的五个应用拍快照,看 JSON。树的质量立刻告诉你这条路对你的负载行不行。Electron 应用通常不错。2011 年的 Java Swing 应用通常很糟。自绘 canvas 基本没救,而且没有修法。

二,量快照大小。一个繁忙窗口的单次快照如果是 400 KB JSON,你就有上下文预算问题,时间会花在写过滤器而不是写自动化上。工具给你树;决定给模型看什么,还是你的事。

更大的点是,「computer use」正在从演示品类变成一门工程学科。赢的实现不会是视觉模型最好的那些,而是视觉用得最少的那些——因为要弄清一个按钮写着 Export,视觉是最贵也最不可靠的办法。

相关文章