← Retour au blog
AiEnviron 8 min de lecture

Une carte à 7 dollars remplace le Mac qui devait rester allumé

Publié le 11 nov. 2026
Une carte à 7 dollars remplace le Mac qui devait rester allumé

La démo en tête du dépôt montre un vrai iPhone qui fait une leçon Duolingo tout seul, accéléré huit fois. Personne ne touche l'écran. Une carte de la taille d'un timbre est branchée sur le port Lightning, et un modèle installé ailleurs décide quoi toucher.

Le projet s'appelle ESP32 iPhone Agent, et la carte est une Seeed XIAO ESP32S3 à environ sept dollars. La promesse du README est précise : votre IA regarde l'écran de l'iPhone, puis touche, balaie et tape à votre place, via la carte. Pas d'ordinateur, pas de modification d'iOS, pas de jailbreak.

Il a atteint 4 651 étoiles depuis le 11 octobre.

Le problème qu'il résout vraiment

L'essentiel de l'automatisation iPhone existe déjà. WebDriverAgent, CoreDevice, idevice, une étagère de projets open source qui pilotent un téléphone depuis une machine hôte. Ils fonctionnent, et c'est l'installation qui explique que presque personne, hors outillage développeur, ne les utilise.

Avant la première tâche, il faut installer Xcode, donc un Mac avec un macOS récent. Activer le mode développeur sur le téléphone, approuver l'appairage USB, cloner un dépôt, compiler une app auxiliaire, la signer. Ensuite l'ordinateur doit rester allumé et connecté pour chaque tâche. Très bien pour un développeur. Un mur pour tous les autres.

La carte fait le travail de l'ordinateur. Elle se branche sur le téléphone, fournit la liaison et reste là. Le téléphone est la seule chose à emporter.

Voilà toute la thèse, et c'est une thèse ennuyeuse de la meilleure façon. L'ingénierie intéressante est dans le câble : la machine hôte est devenue assez petite et assez bon marché pour disparaître dedans.

Comment fonctionnent les yeux et les mains

Deux canaux, tous deux déjà fournis par iOS.

Les yeux, c'est AirPlay. La carte se présente comme une cible d'affichage, le téléphone s'y réplique, et la carte transmet les images au modèle. Aucune permission d'enregistrement d'écran, aucun pont d'accessibilité, aucune API privée.

Les mains, c'est USB HID. La carte s'énumère comme périphérique d'interface humaine et envoie des événements de pointeur et de clavier, d'où l'assistant d'installation qui demande d'activer AssistiveTouch. Pour iOS, c'est une souris et un clavier, parce que c'en est un.

La conséquence est cette ligne du README sur laquelle il faut s'arrêter : les applis qu'il peut utiliser sont toutes celles qu'une personne peut utiliser, parce qu'il voit l'écran et déplace un pointeur. Pas d'intégration par application, pas d'API, pas d'arbre d'accessibilité à extraire. La démo Duolingo ne met pas en avant un partenariat : Duolingo n'en sait rien.

Le compromis, c'est que rien là-dedans n'est efficace. Une boucle pilotée au pointeur avec un modèle de vision est la façon la plus lente possible d'opérer un téléphone, et le README le dit : chaque étape prend quelques secondes, l'essentiel étant le modèle.

1.0.2 et 1.0.3 : l'ouïe, et une première passe bon marché

Trois ajouts des dernières versions méritent la lecture, parce qu'ils montrent où se trouve réellement le coût.

La carte transmet désormais l'audio AirPlay, et l'iPhone le transforme en mots. Cela ouvre les exercices d'écoute et les consignes vocales, cette classe d'applis qu'un agent muet ne peut pas toucher. Cela signifie aussi que le téléphone fait la transcription sur son propre matériel : l'audio n'a pas besoin de quitter l'appareil pour devenir du texte.

Le deuxième ajout est une ligne gratuite appelée Jev. Les étapes simples vont à un petit modèle qui répond en une fraction de seconde, le reste va au grand modèle. La boucle de l'agent a été reconstruite autour d'un appel de modèle par étape, ce qui est la correction du problème de latence, énoncée clairement plutôt que contournée.

Le troisième, c'est la longueur des tâches. Le plafond de 40 étapes a disparu, toute exécution arrêtée peut reprendre, et chaque exécution peut être rejouée étape par étape sur le téléphone. Pour qui a vu un agent échouer à l'étape 37 et a dû tout reprendre, le rejeu est la fonctionnalité.

Installation, et les quatre étapes

Achetez la carte. Flashez-la dans Chrome ou Edge sur handsy.tech/install, sans outil à installer. Installez l'app depuis TestFlight, puis suivez quatre étapes d'installation guidées.

Configuration actuelle : iOS 18 ou plus, firmware de carte v0.2.4, et l'app, sur TestFlight pendant que la fiche App Store est en cours d'examen. Le dépôt est en MIT, et la première ligne du README, dans un commentaire HTML adressé aux assistants de code IA, demande à quiconque copie ou porte le code de conserver la mention de copyright et de créditer publiquement le projet.

Ce commentaire est la chose la plus 2026 du fichier. Le README est écrit en sachant qu'un agent le lira en premier et une personne ensuite : l'obligation de licence est placée là où l'agent la trouvera avant d'écrire du code.

Les coûts que le README liste lui-même

La section honnête est courte et complète. Vous achetez une carte à sept dollars. Chaque étape prend quelques secondes. Et pendant qu'il tourne, le téléphone consomme des données cellulaires, parce que le point d'accès de la carte prend la main sur la connexion Wi-Fi.

Ce dernier point est le genre de détail qui décide si un produit est utilisable et qui n'apparaît presque jamais dans un billet de lancement. Un agent qui opère votre téléphone vingt minutes sur une connexion à quota, c'est un coût réel, et il reste invisible jusqu'à la facture.

Le tableau comparatif du README liste aussi ce qu'il ne sait pas faire. Les agents attachés à un ordinateur exposent des interfaces de débogage et d'accessibilité, donc ils peuvent lire des données structurées. Celui-ci voit des pixels et déplace un pointeur : il peut faire tout ce qu'une personne ferait, et rien qu'une personne ne pourrait faire. Pour beaucoup de tâches, cela suffit. Pour tout ce qui demande le DOM, c'est une régression.

L'arithmétique d'un appel par étape

Le calcul que la refonte implique vaut la peine. Une tâche de quarante étapes à trois secondes l'étape, c'est deux minutes d'horloge pendant lesquelles le téléphone est inutilisable pour tout ce qui demande l'écran. Ramenez l'appel de modèle par étape à une fraction de seconde pour la majorité facile des étapes, et la même tâche se termine avant que l'utilisateur ait décidé de l'interrompre.

C'est pourquoi la ligne Jev est présentée comme gratuite plutôt que rapide. Le coût optimisé n'est pas l'argent, c'est la fenêtre pendant laquelle le téléphone est emprunté. Un agent piloté au pointeur est lent par construction ; le seul levier qui compte est le nombre de décisions qui exigent un grand modèle.

La boucle a aussi changé de forme : un appel de modèle par étape, au lieu d'un framework d'agent qui planifie, réfléchit et replanifie autour de chaque action. Pour une tâche comme « ouvre WeChat et écris au contact transfert de fichiers », c'est le bon compromis. Pour une tâche qui demande de réviser un plan en cours de route, c'est une contrainte que l'utilisateur sentira.

Ce que cette forme suggère

Trois projets distincts existent désormais pour résoudre le même problème, et ils ont choisi des couches différentes. L'un tourne comme une app avec son propre écran caché. L'un transforme chaque app en ligne de commande. Celui-ci transforme le téléphone en périphérique d'un microcontrôleur à sept dollars.

L'approche par carte a la pire latence et la meilleure portabilité. Pas de jailbreak, pas de compte développeur, pas de machine hôte, pas de coopération d'une app. Elle hérite aussi de la contrainte qui l'a rendue possible : si iOS ferme un jour la voie HID ou AirPlay, tout s'arrête.

Pour l'instant, la démo se suffit. Un téléphone posé sur un bureau, qui fait une leçon de langue, avec rien de branché sinon une carte assez petite pour se perdre.

Articles associés