agent-desktop lit l'arbre d'accessibilité, pas la capture d'écran

Tout agent de computer use qui fonctionne par captures d'écran tourne dans la même boucle coûteuse. Prendre une photo de l'écran. Demander à un modèle de vision où se trouve le bouton. Convertir la réponse en coordonnées de pixels. Cliquer. Prendre une autre photo pour savoir si quelque chose s'est passé.
Ça marche, au sens où l'OCR marche : de façon impressionnante, et jamais assez fiable pour qu'on laisse tourner sans surveiller. Les modes d'échec sont tous des variantes d'une même idée : la photo d'une interface est une représentation avec perte d'une interface.
agent-desktop, publié par Vercel Labs et crédité d'environ 23 300 étoiles, dont près de 5 400 gagnées la semaine passée, prend l'autre chemin. Il ne regarde pas l'écran. Il lit l'arbre d'accessibilité de l'application cible et le renvoie en JSON, avec une référence pour chaque élément sur lequel l'agent peut agir. L'agent clique ou tape sur une référence, relit l'interface pour vérifier le résultat, et recommence.

La boucle vit dans votre agent. Le binaire ne contient aucun modèle.
Installation et premier contact
Le paquet s'installe globalement avec npm :
npm install -g agent-desktop
agent-desktop status
`status` indique la plateforme, les autorisations et les surfaces prises en charge. C'est la bonne première commande, parce que la computer use échoue bien plus souvent à l'étape des autorisations qu'à celle de la logique. Sur macOS, la commande suivante est `agent-desktop permissions --guide`, qui déroule l'attribution de l'accessibilité. Homebrew fonctionne aussi sur macOS et Linux. Bun, Yarn et pnpm installent le même paquet ; les binaires natifs x64 et ARM64 sont inclus.
La boucle en trois commandes ressemble à ceci :
agent-desktop snapshot --app Finder -i
agent-desktop click @s8f3k2p9:e8
agent-desktop snapshot --app Finder -i
L'option `-i` limite l'instantané aux éléments interactifs. Le clic utilise une référence issue de cet instantané précis. Le second instantané n'est pas un rangement facultatif : c'est ainsi que vous apprenez si le clic a fait ce que vous croyiez.
Les choix de conception qui comptent
Quatre décisions méritent d'être comprises avant de construire quoi que ce soit dessus.
Les références appartiennent à leur instantané. Un `@e8` seul est rejeté avec `INVALID_ARGS`. Si l'interface change entre l'observation et l'action, l'action renvoie `STALE_REF` ou `AMBIGUOUS_TARGET`, et la bonne réponse est de prendre un nouvel instantané et d'utiliser ses références. C'est plus strict que la plupart des outils d'automatisation, et cela élimine toute une classe de clics ratés silencieux.
Les applications denses ont un parcours d'inspection en deux temps. Pour une application comme Slack, l'approche documentée est `snapshot --skeleton --app Slack -i --compact` pour cartographier l'application, puis `snapshot --root @s8f3k2p9:e3 -i --compact` pour descendre dans une région. Sans cela, l'arbre complet d'une application complexe représente beaucoup de JSON à porter pour un agent.
Le mode par défaut est sans interface. Les actions par référence passent par l'API d'accessibilité sans déplacer le pointeur ni voler le focus, donc la machine reste utilisable pendant que l'agent travaille. L'option globale `--headed` bascule vers l'entrée physique, ce que vous voulez quand l'application vérifie de vrais événements, et pas autrement.
Les secrets peuvent rester hors des arguments du processus. `type`, `set-value` et `clipboard-set` acceptent `--stdin` pour du texte envoyé par un tube. Les arguments de ligne de commande étant visibles dans la liste des processus, c'est la différence entre un mot de passe qui apparaît dans la sortie de `ps` et un qui n'y apparaît pas. Le conseil du README est d'exécuter les étapes sensibles en commandes séparées, car le texte JSON envoyé en lot réapparaît dans la liste des arguments.
Il y a une note de bas de page PowerShell qui fera gagner une heure à quelqu'un : mettez des guillemets autour de chaque référence, car un `@token` nu est l'opérateur de splatting.
Ce qu'est réellement la couche plateforme
Sous le CLI il y a une bibliothèque C, et sous les deux il y a le même noyau. Chaque binaire est compilé pour un système d'exploitation et parle à l'API d'accessibilité de ce système : AX API sur macOS, UI Automation sur Windows, AT-SPI sur Linux. Le noyau n'atteint le système que par un trait `PlatformAdapter`, ce qui permet à une seule base de code de présenter une enveloppe JSON unique sur trois modèles d'accessibilité très différents.
Cette architecture explique aussi le plafond de l'outil. Il ne peut agir que sur ce que l'arbre d'accessibilité expose. Les applications qui dessinent leur interface sur un canvas et n'exposent rien resteront invisibles ou presque, quel que soit le talent de l'adaptateur. Les agents à base de captures d'écran traitent ces cas. Les agents à base de références ne le peuvent pas. L'échange est clair : de la précision sur les applications bien faites contre une couverture des applications mal faites.
Une comparaison concrète
Prenez une petite tâche que les agents à captures gèrent mal : renommer douze fichiers dans un gestionnaire de fichiers de bureau.
Un agent à captures regarde la fenêtre, repère douze libellés de noms de fichiers et produit douze paires de coordonnées. Il clique sur le premier, sélectionne le texte, tape un nouveau nom, appuie sur entrée et attend que la liste se réordonne. Chaque coordonnée suivante est désormais périmée, parce que l'ordre de la liste a changé. L'agent doit réobserver après chaque renommage, soit douze appels de vision et douze occasions de cliquer sur la mauvaise ligne.
L'approche par références observe une fois. L'instantané renvoie l'arbre de la fenêtre avec une référence pour chaque ligne, plus un identifiant d'instantané. Chaque renommage est une action sur une référence précise, et après chaque action l'agent relit l'arbre pour confirmer que le nouveau nom est apparu. Si la liste se réordonne, les références de l'instantané d'origine deviennent périmées et l'outil le dit, ce qui est exactement le comportement souhaité : un échec rapide et explicite plutôt qu'une action silencieuse sur le mauvais fichier.
La différence de fiabilité vient de l'endroit où la structure est calculée. Dans le premier cas, un modèle reconstruit une liste de fichiers à partir de pixels et se trompe parfois. Dans le second, le système d'exploitation rapporte la liste de fichiers qu'il maintient déjà, et ne se trompe pour ainsi dire jamais.
L'avertissement de sécurité n'est pas du remplissage
Le README porte un avertissement qui mérite d'être cité plutôt que paraphrasé : les instantanés, les lectures du presse-papiers, les captures d'écran, la sortie des commandes et les artefacts de débogage peuvent contenir du contenu privé du bureau, et doivent rester hors des journaux publics et des envois.
C'est un danger réel, et un danger nouveau. Un agent à captures laisse fuir des pixels. Un agent à arbre laisse fuir du texte structuré, bien plus facile à indexer, à chercher et à valider par accident. Si vous journalisez les trajectoires d'un agent pour déboguer, vous journalisez ce qui était à l'écran à ce moment-là, dans un format qu'un grep trouvera.
La partie qui vieillira bien
Vercel Labs en a désormais livré deux : agent-browser pour le web, agent-desktop pour les applications locales, les deux en Rust, les deux tendance la même semaine. Le schéma qu'ils partagent est un refus : ne pas faire faire au modèle un travail que le système d'exploitation a déjà fait.
C'est là que se trouve l'idée utile, plus que dans n'importe quelle commande. Un modèle de vision qui lit une capture infère une structure qui existe déjà dans un arbre d'accessibilité, et paie cette inférence en latence, en tokens et en taux d'erreur. Lire l'arbre ne coûte presque rien et renvoie quelque chose que l'agent peut vérifier.
Les agents qui finiront en production ne seront pas ceux qui voient le mieux. Ce seront ceux qui n'ont plus besoin de regarder.
Articles associés
Quelqu'un a mis le droit mondial dans git, on peut donc blâmer un article de loi
global-law conserve les textes de chaque pays dans un dépôt git où chaque commit correspond à une loi entrée en vigueur à une date connue. On peut lancer log, blame, show et diff sur un article, demander ce qui s'appliquait dans chaque pays un jour donné, et confier le tout à un assistant via MCP.
Un serveur, une streameuse IA : dans le code qui fait tourner un live nocturne
open-yoki est le code de production d'une hôte IA qui streame chaque soir sur Binance Square, personnalité, voix et fonctions liées à l'argent retirées. headless Chrome dessine la frame, ffmpeg pousse le RTMP, un dossier de Markdown décide de son humeur et de ce qu'elle publie.
Pinky laisse un agent piloter votre téléphone, et garde le bouton Envoyer enfoncé jusqu'à votre clic sur Autoriser
Pinky relie n'importe quel agent MCP à un vrai iPhone ou Android et impose l'approbation dans sa propre passerelle plutôt que dans un prompt. Les applis bancaires sont invisibles, les champs de mot de passe interdits, et sous Android 13 l'agent obtient un second écran caché.
Cicada écoute directement l'audio de votre réunion, sans bot dans la salle
Cicada est une application gratuite pour Mac, Windows, Linux et Android qui écrit des sous-titres bilingues et des notes de réunion structurées à partir de l'audio du système, puis vous laisse tenir une touche pour répondre dans l'autre langue avec votre propre voix clonée. Aucun bot ne rejoint l'appel.