Vercel Labs 的新工具:给智能体 ref,不给坐标

大约两年里,「会用电脑的 AI」的标准演示都是同一个样子:截一张图,模型猜按钮在哪,在像素 (847, 412) 合成一次点击,再截一张图看有没有反应。
它成功的频率够拍视频,失败的频率够让产品没法用。Vercel Labs 本周发了一个 CLI,直接把猜这一步删掉,README 的第一句就是全部论点:通过操作系统辅助功能树读取和操作桌面应用。
仓库是 vercel-labs/agent-desktop,Apache-2.0,一天涨了约 3,800 星。
ref 就是那个想法
大约从 2005 年起,每个操作系统都维护着一份「屏幕上有什么」的结构化描述。屏幕阅读器读的就是它。它知道那里有个按钮,标签是「Export」,处于可用状态,在一个对话框里,而对话框属于某个窗口。
agent-desktop 对这棵树拍快照,返回 JSON。每个智能体能操作的元素都有一个 ref。智能体对 ref 执行动作,再拍一次快照看变化。
就这样。没有坐标,循环里没有视觉模型,没有像素匹配。循环留在你的智能体里。
结果是失败模式换了形状。基于像素的自动化失败,是悄悄点错东西,三步之后才发现导出的是错的文件。基于 ref 的自动化失败,是找不到 ref,很吵、立刻、可调试。后者才撑得起产品。

每次调用独立进程,买的是什么
README 对一件同行普遍含糊的事说得很清楚:每次 CLI 调用都在自己的进程里跑。
听起来像实现细节。其实是一条安全属性。长期驻留的桌面自动化守护进程会攒状态、占句柄,最后变成一个能把你会话卡死的东西。一次性进程——拍快照、执行、退出、返回 JSON——杀掉很容易,审计也很容易。调用卡住,你杀一个进程,不是一台机器。
第二条属性说得更直白:无头调用依然禁止前台激活和合成输入。所以它不是一只劫持你鼠标的机器人。它读树,能对元素动手,但不会在凌晨两点把一个窗口拽到你面前。
这两条放在一起,描述的是一个为后台工作设计的工具——那种不体面的活:智能体去看一个仪表盘、读一张表、导一份报告,不需要人盯着。
安装只有一行,这就是重点
npm install -g agent-desktop
agent-desktop version
包里带原生二进制和平台辅助程序,覆盖 macOS、Windows、Linux 的 x64 和 ARM64。Bun、Yarn、pnpm 装的是同一个东西。不想让 JavaScript 启动器留在 PATH 里,发布页上有原生压缩包,放哪都行。
还有一个 C 库,这对想把它嵌进更大系统的人更有意思。CLI 只是一层壳,底下是一个读三个操作系统辅助功能 API 的库。那才是这个问题的难点,也是历史上每个需要它的团队都各自糟糕地重复过一遍的部分。
隐私那一节写得异常直接
大多数 README 会把这段埋起来。这份放在第三段:
「快照、剪贴板读取、截图、命令输出和调试产物都可能包含私密的桌面内容。别让它们进公开日志和上传。」
这不是免责声明,是攻击面描述。一份桌面辅助功能快照,就是桌上一切的清单:窗口标题、文档名、邮件主题、聊天参与者名字、表单字段标签。你把它喂给托管模型,就是在上传你一天工作的目录。
README 还单独标了一个可选的辅助组件,会把屏幕描述发给配置好的模型提供商,并明确把它和原生 CLI 分开。这个分隔是对的,启用之前值得先读代码。
还有一层二阶问题,目前没人有好的答案。屏幕阅读器一直有这种权限,我们接受它,因为对特定人群来说替代方案更糟。智能体有这种权限,是因为这样自动化才可靠。同样的能力,完全不同的威胁模型。如果在公司里部署,「哪些进程可以查辅助功能树」是个真实的政策问题,不是工具能替你回答的。
和另外两条路的对比
让智能体操作软件有三条路,正在各自收敛到不同的生态位。
像素级 computer use——截图、坐标、点击。什么都能用,包括没有辅助功能支持的应用、远程桌面、canvas 渲染的界面。脆弱、慢,每一步都要一个视觉模型。
CLI 和 API 外壳——给每个应用一条命令行。快且确定,但得有人去写外壳,而大多数桌面软件永远不会有人写。
辅助功能树——中间那条路。结构化、语义化、不需要视觉模型,任何遵守平台规范的应用都能用。自己画界面的应用上会失败。
中间这条路有意思的地方在于,它是唯一一条「智能体对屏幕的理解」等于「带屏幕阅读器的人的理解」的路。这是个真实的约束,而且有用:它意味着智能体看到的界面,本身就是无障碍合规要求必须存在的那个界面。你不是在建一个平行世界。
我会先测什么
两个实验,都很便宜。
一,给你最常用的五个应用拍快照,看 JSON。树的质量立刻告诉你这条路对你的负载行不行。Electron 应用通常不错。2011 年的 Java Swing 应用通常很糟。自绘 canvas 基本没救,而且没有修法。
二,量快照大小。一个繁忙窗口的单次快照如果是 400 KB JSON,你就有上下文预算问题,时间会花在写过滤器而不是写自动化上。工具给你树;决定给模型看什么,还是你的事。
更大的点是,「computer use」正在从演示品类变成一门工程学科。赢的实现不会是视觉模型最好的那些,而是视觉用得最少的那些——因为要弄清一个按钮写着 Export,视觉是最贵也最不可靠的办法。
相关文章
744B 模型住进 9.9 GB 内存,专家从硬盘上读
colibri 把 744B 混合专家模型里常用的那部分留在内存,专家从磁盘流式读。README 把慢的基准和快的一起发,所以值得读。
不动模型,也能把智能体调好
Harness² 冻结权重,只改模型周围的八个组件,然后对比几次运行的差异。一个 benchmark 上最多涨 11.5 分,没有一次梯度更新。
编辑榜排第二,调用榜前五十都没进
微软发了一个根本不能生成图像的模型。它在编辑榜第二,在请求量前五十里找不到。这个落差说明图像榜单到底在量什么。
35 万个假受害者,和机构撒谎的伦理问题
Apate.ai 跑着 35 万个 AI 人格,工作是让骗子骗,再把骗出来的情报卖给银行和运营商。浪费时间这一步成立,没有人算过账的是那个先例。