← Volver al blog
Aiaprox. 7 min de lectura

agent-desktop: automatizar el escritorio sin adivinar dónde está el botón

Publicado 11 nov 2026
agent-desktop: automatizar el escritorio sin adivinar dónde está el botón

Durante unos dos años, la demo estándar de “IA que usa un ordenador” siempre fue igual: una captura, un modelo que adivina dónde está el botón, un clic sintético en el píxel (847, 412) y otra captura con la esperanza de ver si pasó algo.

Funciona lo suficiente para grabar un vídeo y falla lo suficiente para que el producto sea inutilizable. Vercel Labs publicó esta semana una CLI que se salta la adivinanza, y la primera línea del README es la tesis completa: leer y operar aplicaciones de escritorio a través del árbol de accesibilidad del sistema operativo.

El repositorio es vercel-labs/agent-desktop, licencia Apache-2.0, y sumó unas 3.800 estrellas en un día.

El ref es la idea

Todo sistema operativo desde más o menos 2005 mantiene una descripción estructurada de lo que hay en pantalla. Es lo que lee un lector de pantalla. Sabe que hay un botón, que se llama “Exportar”, que está habilitado, que vive dentro de un diálogo y que el diálogo pertenece a una ventana concreta.

agent-desktop toma una instantánea de ese árbol y devuelve JSON. Cada elemento sobre el que un agente puede actuar recibe un ref. El agente actúa sobre el ref y luego toma otra instantánea para ver qué cambió.

Eso es todo. Sin coordenadas, sin modelo de visión en el bucle, sin comparar píxeles. El bucle se queda en tu agente.

La consecuencia es que el modo de fallo cambia de forma. La automatización por píxeles falla haciendo clic en lo que no toca, en silencio, y te enteras tres pasos después, cuando se exportó el archivo equivocado. La automatización por ref falla no encontrando el ref, lo cual es ruidoso, inmediato y depurable. Con uno de esos dos se puede construir un producto.

Un monitor de escritorio que muestra un esquema anidado de paneles y botones renderizado como líneas de texto plano, con un teclado en primer plano

Qué te da el modelo de proceso

El README cuida un detalle que la mayoría de las herramientas del sector pasa por alto: cada llamada de la CLI corre en su propio proceso.

Suena a detalle de implementación. En realidad es una propiedad de seguridad. Un demonio de automatización de escritorio de larga vida acumula estado, retiene handles y se convierte en algo capaz de atascar tu sesión. Un proceso de un solo disparo que toma una instantánea, actúa, sale y devuelve JSON se mata y se audita con facilidad. Si una llamada se cuelga, matas un proceso, no una máquina.

La segunda propiedad está dicha aún más claro: las llamadas headless siguen prohibiendo la activación en primer plano y la entrada sintetizada. Así que la herramienta no es un robot que secuestra el ratón. Lee el árbol y puede actuar sobre elementos, pero no va a traerte una ventana al frente a las 2 de la mañana.

Las dos decisiones juntas describen una herramienta pensada para trabajo en segundo plano: el tipo sin glamour, en el que un agente revisa un panel, lee una tabla, exporta un informe y no necesita que nadie lo vigile.

La instalación es una línea, y esa es la cuestión

npm install -g agent-desktop
agent-desktop version

El paquete incluye binarios nativos y helpers de plataforma para x64 y ARM64 en macOS, Windows y Linux. Bun, Yarn y pnpm instalan lo mismo. Si no quieres un launcher de JavaScript en el PATH, hay archivos nativos en la página de releases para poner donde quieras.

También hay una biblioteca en C, que es el detalle más interesante para quien vaya a meter esto en algo mayor. La CLI es un envoltorio sobre una biblioteca que lee las API de accesibilidad de tres sistemas operativos. Esa es la parte difícil del problema, y es la que históricamente cada equipo reimplementó mal.

La sección de privacidad es inusualmente directa

La mayoría de los README esconden esto. Este lo pone en el tercer párrafo:

“Las instantáneas, las lecturas del portapapeles, las capturas de pantalla, la salida de comandos y los artefactos de depuración pueden contener contenido privado del escritorio. Mantenlos fuera de registros públicos y subidas.”

Eso no es un descargo, es la descripción de la superficie de ataque. Una instantánea de accesibilidad de tu escritorio es un inventario estructurado de todo lo que hay en él: títulos de ventana, nombres de documentos, asuntos de correo, nombres de participantes de chat, etiquetas de campos de formulario. Si lo canalizas hacia un modelo alojado, estás subiendo un esquema de tu jornada laboral.

El README también señala un helper opcional que envía descripciones de pantalla a un proveedor de modelos configurado y lo separa explícitamente de la CLI nativa. La separación es el diseño correcto, y vale la pena leer el código antes de activarlo.

Hay un problema de segundo orden para el que nadie tiene buena respuesta todavía. Los lectores de pantalla siempre tuvieron este acceso, y lo aceptamos porque la alternativa era peor para un grupo concreto de personas. Los agentes tienen este acceso porque hace fiable la automatización. La misma capacidad, un modelo de amenaza completamente distinto. Si vas a desplegar esto dentro de una empresa, la pregunta “qué procesos pueden consultar el árbol de accesibilidad” es una cuestión real de política, y no la responde la herramienta.

Cómo encaja frente a las alternativas

Hay tres formas de hacer que un agente opere software, y están convergiendo en nichos distintos.

Computer use a nivel de píxel: captura, coordenada, clic. Funciona con cualquier cosa, incluidas apps sin soporte de accesibilidad, escritorios remotos e interfaces dibujadas en canvas. Frágil, lento y necesita un modelo de visión en cada paso.

Capas de CLI y API: dar una línea de comandos a cada app. Rápido y determinista, pero exige que alguien construya la capa, y la mayoría del software de escritorio nunca tendrá una.

Árbol de accesibilidad: el camino intermedio. Estructurado, semántico, sin modelo de visión, funciona en cualquier app que respete las convenciones de la plataforma. Falla en apps que dibujan su propia interfaz.

Lo interesante del camino intermedio es que es el único donde la comprensión que el agente tiene de la pantalla es la misma que tendría una persona con lector de pantalla. Es una restricción real, y útil: significa que la interfaz que ve el agente es la que tiene que existir de todos modos para cumplir accesibilidad. No estás construyendo un mundo paralelo.

Qué probaría

Dos experimentos, ambos baratos.

Primero, toma una instantánea de tus cinco apps más usadas y mira el JSON. La calidad del árbol dice de inmediato si el enfoque sirve para tu carga de trabajo. Las apps Electron suelen ser buenas. Las apps Java Swing de 2011 suelen ser malas. Los canvas dibujados a mano son un caso perdido, y no hay arreglo.

Segundo, mide el tamaño de la instantánea. Si una sola instantánea de una ventana cargada son 400 KB de JSON, tienes un problema de presupuesto de contexto y pasarás el tiempo escribiendo filtros en lugar de automatizaciones. La herramienta te da el árbol; decidir qué enseñarle al modelo sigue siendo tu trabajo.

El punto de fondo es que “computer use” se está asentando como disciplina de ingeniería y no como categoría de demo. Las implementaciones que ganen no serán las que tengan el mejor modelo de visión. Serán las que usen menos visión, porque la visión es la forma más cara y menos fiable de averiguar que un botón dice “Exportar”.

Artículos relacionados