L'agent qui lit votre écran au lieu de le regarder

Pendant deux ans, la démo standard de « l'IA qui se sert d'un ordinateur » a toujours eu la même allure : une capture d'écran, un modèle qui devine où se trouve le bouton, un clic synthétique au pixel (847, 412), puis une capture d'écran pleine d'espoir pour voir si quelque chose s'est produit.
Ça marche assez souvent pour faire une vidéo et échoue assez souvent pour rendre un produit inutilisable. Vercel Labs a publié cette semaine un CLI qui supprime toute la devinette, et la première ligne du README résume la thèse : lire et piloter des applications de bureau via l'arbre d'accessibilité du système.
Le dépôt s'appelle vercel-labs/agent-desktop, il est sous Apache-2.0, et il a pris environ 3 800 étoiles en un jour.
La ref, c'est l'idée
Tout système d'exploitation depuis 2005 environ maintient une description structurée de ce qui est à l'écran. C'est ce que lit un lecteur d'écran. Il sait qu'il y a un bouton, qu'il est libellé « Exporter », qu'il est actif, qu'il se trouve dans une boîte de dialogue, et que cette boîte appartient à une fenêtre précise.
agent-desktop prend un instantané de cet arbre et renvoie du JSON. Chaque élément sur lequel un agent peut agir reçoit une ref. L'agent agit sur la ref, puis reprend un instantané pour vérifier ce qui a changé.
C'est tout. Pas de coordonnées, pas de modèle de vision dans la boucle, pas de correspondance de pixels. La boucle reste dans votre agent.
Conséquence : le mode de défaillance change de forme. L'automatisation par pixels échoue en cliquant au mauvais endroit, en silence, et on s'en aperçoit trois étapes plus tard, quand le mauvais fichier a été exporté. L'automatisation par ref échoue en ne trouvant pas la ref, ce qui est bruyant, immédiat et débogable. Sur l'un des deux, on peut construire un produit.

Ce que le modèle de processus apporte
Le README insiste sur un point que la plupart des outils du secteur passent sous silence : chaque appel au CLI tourne dans son propre processus.
Cela ressemble à un détail d'implémentation. C'est en fait une propriété de sûreté. Un démon d'automatisation de bureau qui vit longtemps accumule de l'état, garde des handles et devient une chose capable de bloquer votre session. Un processus éphémère qui prend un instantané, agit, sort et renvoie du JSON se tue et s'audite trivialement. Si un appel se bloque, vous tuez un processus, pas une machine.
La seconde propriété est énoncée encore plus clairement : les appels headless interdisent toujours l'activation au premier plan et la saisie synthétique. L'outil n'est donc pas un robot qui confisque votre souris. Il lit l'arbre et peut agir sur des éléments, mais il ne fera pas surgir une fenêtre devant vous à 2 h du matin.
Ces deux décisions décrivent ensemble un outil pensé pour le travail de fond, celui qui n'a rien de glamour : un agent consulte un tableau de bord, lit un tableau, exporte un rapport, et n'a pas besoin d'être surveillé.
L'installation tient en une ligne, et c'est le but
npm install -g agent-desktop
agent-desktop version
Le paquet embarque des binaires natifs et des assistants de plateforme pour x64 et ARM64 sous macOS, Windows et Linux. Bun, Yarn et pnpm installent la même chose. Si vous ne voulez pas de lanceur JavaScript dans le PATH, des archives natives sont disponibles sur la page des releases, à placer où vous voulez.
Il existe aussi une bibliothèque C, ce qui est le détail le plus intéressant pour qui veut intégrer l'outil dans quelque chose de plus gros. Le CLI n'est qu'un habillage autour d'une bibliothèque qui lit les API d'accessibilité de trois systèmes. C'est la partie difficile du problème, et c'est celle que chaque équipe a historiquement réimplémentée, mal.
La section sur la vie privée est d'une franchise rare
La plupart des README enterrent le sujet. Celui-ci le met au troisième paragraphe :
« Les instantanés, les lectures du presse-papiers, les captures d'écran, la sortie de commandes et les artefacts de débogage peuvent contenir du contenu privé du bureau. Ne les mettez pas dans des journaux publics ni dans des uploads. »
Ce n'est pas un avertissement juridique, c'est une description de la surface d'attaque. Un instantané d'accessibilité de votre bureau est un inventaire structuré de tout ce qu'il contient : titres de fenêtres, noms de documents, objets d'e-mails, noms des participants à un chat, libellés de champs de formulaire. Si vous envoyez cela à un modèle hébergé, vous téléversez le plan de votre journée de travail.
Le README signale aussi un assistant optionnel qui envoie des descriptions d'écran à un fournisseur de modèles configuré, et le sépare explicitement du CLI natif. Cette séparation est le bon design, et elle mérite une lecture du code avant activation.
Il reste un problème de second ordre, sans bonne réponse pour l'instant. Les lecteurs d'écran ont toujours eu cet accès, et nous l'avons accepté parce que l'alternative était pire pour un groupe précis de personnes. Les agents ont cet accès parce que cela rend l'automatisation fiable. Même capacité, modèle de menace totalement différent. Si vous déployez cela dans une entreprise, la question « quels processus ont le droit d'interroger l'arbre d'accessibilité » est une vraie question de politique interne, et l'outil ne peut pas y répondre à votre place.
Où cela se situe face aux alternatives
Il y a trois façons de faire piloter un logiciel par un agent, et elles convergent vers des niches différentes.
Le computer use au pixel — capture, coordonnée, clic. Fonctionne partout, y compris sur des applications sans accessibilité, des bureaux distants et des interfaces dessinées en canvas. Fragile, lent, et il faut un modèle de vision à chaque étape.
Les habillages CLI et API — donner une ligne de commande à chaque application. Rapide et déterministe, mais il faut que quelqu'un construise l'habillage, et la plupart des logiciels de bureau n'en auront jamais.
L'arbre d'accessibilité — la voie du milieu. Structuré, sémantique, sans modèle de vision, fonctionne sur toute application qui respecte les conventions de la plateforme. Échoue sur celles qui dessinent leur propre interface.
Ce qui est intéressant dans la voie du milieu, c'est que c'est la seule où la compréhension de l'écran par l'agent est identique à celle d'un humain muni d'un lecteur d'écran. C'est une contrainte réelle, et utile : l'interface que voit l'agent est celle qui doit de toute façon exister pour la conformité en accessibilité. Vous ne construisez pas un monde parallèle.
Ce que je testerais
Deux expériences, toutes deux bon marché.
D'abord, prenez un instantané de vos cinq applications les plus utilisées et regardez le JSON. La qualité de l'arbre indique immédiatement si l'approche convient à votre charge de travail. Les applications Electron sont en général bonnes. Les applications Java Swing de 2011 sont en général mauvaises. Les canvas dessinés à la main sont sans espoir, et il n'y a pas de correctif.
Ensuite, mesurez la taille de l'instantané. Si un seul instantané d'une fenêtre chargée fait 400 Ko de JSON, vous avez un problème de budget de contexte, et vous passerez votre temps à écrire des filtres plutôt qu'à automatiser. L'outil fournit l'arbre ; décider ce qu'on montre au modèle reste votre travail.
Le point plus large : le « computer use » est en train de devenir une discipline d'ingénierie plutôt qu'une catégorie de démo. Les implémentations gagnantes ne seront pas celles qui ont le meilleur modèle de vision. Ce seront celles qui utilisent le moins de vision, parce que la vision est le moyen le plus cher et le moins fiable de découvrir qu'un bouton s'appelle « Exporter ».
Articles associés
Un modèle dense de 65B dépasse des rivaux huit fois plus gros, pour 32 millions de dollars
Un modèle dense de 65B devance des rivaux de 500B et plus sur Terminal-Bench 2.1. Le chiffre qui compte n'est pas le score mais les 32 millions de dollars dépensés.
Les agents IA se trompent encore sur une lecture de gel sur trois, et OpenAI montre où
Le nouveau benchmark de biologie d'OpenAI montre que le meilleur modèle se trompe encore sur une interprétation de laboratoire sur trois. Les échecs documentés révèlent où la perception n'atteint pas la conclusion.
Antigravity déplace ses agents dans le cloud, sans votre outillage local
La version 2.29 d'Antigravity place l'agent dans une VM cloud qui survit à votre portable et utilise la voix pour approuver les permissions. L'outillage local ne suit pas.
NVIDIA ouvre quatre modèles de monde de 16B, et n'a pas mesuré l'apprentissage de politique
Quatre modèles de monde ouverts de 16B et un décodeur qui émet la géométrie d'un seul coup. NVIDIA livre les deux moitiés, mais admet qu'il reste à mesurer l'apprentissage de politique.