Der Agent, der den Bildschirm liest statt ihn anzusehen

Zwei Jahre lang sah die Standarddemo für „KI, die einen Computer bedient“ gleich aus: ein Screenshot, ein Modell, das rät, wo der Button liegt, ein synthetischer Klick auf Pixel (847, 412), dann ein hoffnungsvoller Screenshot, ob etwas passiert ist.
Es funktioniert oft genug für ein Video und scheitert oft genug, um ein Produkt unbrauchbar zu machen. Vercel Labs hat diese Woche ein CLI veröffentlicht, das das Raten komplett überspringt, und die erste Zeile im README ist die ganze These: Desktop-Apps über den Accessibility-Baum des Betriebssystems lesen und bedienen.
Das Repo heißt vercel-labs/agent-desktop, steht unter Apache-2.0 und sammelte an einem Tag rund 3 800 Sterne.
Die ref ist die Idee
Jedes Betriebssystem seit etwa 2005 führt eine strukturierte Beschreibung dessen, was auf dem Bildschirm ist. Ein Screenreader liest genau das. Er weiß, dass es einen Button gibt, dass er „Exportieren“ heißt, dass er aktiv ist, dass er in einem Dialog liegt und dass dieser Dialog zu einem bestimmten Fenster gehört.
agent-desktop macht einen Schnappschuss dieses Baums und gibt JSON zurück. Jedes Element, auf dem ein Agent handeln kann, bekommt eine ref. Der Agent handelt auf die ref und macht danach einen neuen Schnappschuss, um zu sehen, was sich geändert hat.
Das ist alles. Keine Koordinaten, kein Vision-Modell in der Schleife, kein Pixel-Matching. Die Schleife bleibt im Agenten.
Die Folge: Das Fehlerbild ändert seine Form. Pixelbasierte Automatisierung scheitert, indem sie still auf das Falsche klickt, und man merkt es drei Schritte später, wenn die falsche Datei exportiert wurde. Ref-basierte Automatisierung scheitert, indem sie die ref nicht findet – laut, sofort und debugbar. Auf eines von beidem lässt sich ein Produkt bauen.

Was das Prozessmodell bringt
Das README legt Wert auf etwas, das die meisten Werkzeuge in diesem Feld übergehen: Jeder CLI-Aufruf läuft in einem eigenen Prozess.
Das klingt nach Implementierungsdetail. Es ist eine Sicherheitseigenschaft. Ein langlebiger Desktop-Automatisierungsdaemon sammelt Zustand an, hält Handles und wird zu etwas, das die Sitzung blockieren kann. Ein Einmalprozess, der einen Schnappschuss macht, handelt, endet und JSON zurückgibt, ist trivial killbar und trivial auditierbar. Hängt ein Aufruf, beendet man einen Prozess, keine Maschine.
Die zweite Eigenschaft steht noch deutlicher da: Headless-Aufrufe verbieten weiterhin Vordergrundaktivierung und synthetische Eingaben. Das Werkzeug ist also kein Roboter, der die Maus übernimmt. Es liest den Baum und kann auf Elemente handeln, aber es zieht einem nicht um 2 Uhr nachts ein Fenster vor die Nase.
Beide Entscheidungen zusammen beschreiben ein Werkzeug für Hintergrundarbeit – die unspektakuläre Art, bei der ein Agent ein Dashboard prüft, eine Tabelle liest, einen Report exportiert und dabei nicht beaufsichtigt werden muss.
Die Installation ist eine Zeile, und das ist der Punkt
npm install -g agent-desktop
agent-desktop version
Das Paket enthält native Binaries und Plattform-Helfer für x64 und ARM64 unter macOS, Windows und Linux. Bun, Yarn und pnpm installieren dasselbe. Wer keinen JavaScript-Launcher im Pfad will, findet auf der Releases-Seite native Archive, die sich ablegen lassen, wo man möchte.
Es gibt außerdem eine C-Bibliothek, was für alle interessant ist, die das in etwas Größeres einbauen wollen. Das CLI ist nur eine Hülle um eine Bibliothek, die die Accessibility-APIs von drei Betriebssystemen liest. Das ist der schwierige Teil des Problems, und der Teil, den jedes Team, das ihn brauchte, historisch schlecht nachgebaut hat.
Der Abschnitt zum Datenschutz ist ungewöhnlich deutlich
Die meisten READMEs vergraben das. Dieses setzt es in den dritten Absatz:
„Schnappschüsse, Zwischenablage-Lesen, Screenshots, Kommandoausgaben und Debug-Artefakte können private Desktop-Inhalte enthalten. Halten Sie sie aus öffentlichen Logs und Uploads heraus.“
Das ist kein Haftungsausschluss, das ist eine Beschreibung der Angriffsfläche. Ein Accessibility-Schnappschuss des Desktops ist ein strukturiertes Inventar von allem darauf: Fenstertitel, Dateinamen, E-Mail-Betreffzeilen, Namen von Chat-Teilnehmern, Feldbezeichnungen in Formularen. Wer das an ein gehostetes Modell schickt, lädt eine Skizze seines Arbeitstags hoch.
Das README weist außerdem auf einen optionalen Helfer hin, der Bildschirmbeschreibungen an einen konfigurierten Modellanbieter sendet, und trennt ihn ausdrücklich vom nativen CLI. Diese Trennung ist das richtige Design, und man sollte den Code lesen, bevor man sie aktiviert.
Es bleibt ein Problem zweiter Ordnung, für das niemand eine gute Antwort hat. Screenreader hatten diesen Zugriff immer, und wir haben ihn akzeptiert, weil die Alternative für eine bestimmte Gruppe von Menschen schlechter war. Agenten haben diesen Zugriff, weil er Automatisierung zuverlässig macht. Dieselbe Fähigkeit, ein völlig anderes Bedrohungsmodell. Wer das in einem Unternehmen ausrollt, stößt auf die Frage, welche Prozesse den Accessibility-Baum abfragen dürfen. Das ist eine echte Richtlinienfrage, und das Werkzeug kann sie nicht beantworten.
Wo das gegen die Alternativen steht
Es gibt drei Wege, einen Agenten Software bedienen zu lassen, und sie laufen auf unterschiedliche Nischen zu.
Computer Use auf Pixelebene – Screenshot, Koordinate, Klick. Funktioniert überall, auch bei Apps ohne Accessibility-Unterstützung, bei Remote-Desktops und bei Canvas-Oberflächen. Fragil, langsam, und jeder Schritt braucht ein Vision-Modell.
CLI- und API-Hüllen – jede App bekommt eine Kommandozeile. Schnell und deterministisch, aber jemand muss die Hülle bauen, und die meisten Desktop-Programme werden nie eine haben.
Der Accessibility-Baum – der Mittelweg. Strukturiert, semantisch, ohne Vision-Modell, funktioniert mit jeder App, die Plattformkonventionen respektiert. Scheitert bei Apps, die ihre Oberfläche selbst zeichnen.
Das Interessante am Mittelweg: Er ist der einzige, bei dem das Bildschirmverständnis des Agenten dem eines Menschen mit Screenreader entspricht. Das ist eine echte Einschränkung, und eine nützliche: Die Oberfläche, die der Agent sieht, ist die Oberfläche, die für Barrierefreiheit ohnehin existieren muss. Man baut keine Parallelwelt.
Was ich testen würde
Zwei Experimente, beide billig.
Erstens: Schnappschüsse der fünf meistgenutzten Apps machen und das JSON ansehen. Die Qualität des Baums zeigt sofort, ob der Ansatz für die eigene Arbeitslast taugt. Electron-Apps sind meist gut. Java-Swing-Apps von 2011 sind meist schlecht. Selbst gezeichnete Canvas-Flächen sind hoffnungslos, und es gibt keine Abhilfe.
Zweitens: die Größe des Schnappschusses messen. Wenn ein einzelner Schnappschuss eines vollen Fensters 400 KB JSON ergibt, hat man ein Kontextbudget-Problem und verbringt die Zeit mit Filtern statt mit Automatisierung. Das Werkzeug liefert den Baum; was man dem Modell zeigt, bleibt die eigene Aufgabe.
Der größere Punkt: „Computer Use“ wird zu einer Ingenieursdisziplin statt zu einer Demo-Kategorie. Gewinnen werden nicht die Implementierungen mit dem besten Vision-Modell, sondern die mit dem wenigsten Vision-Einsatz – denn Vision ist der teuerste und unzuverlässigste Weg herauszufinden, dass auf einem Button „Exportieren“ steht.
Verwandte Artikel
Google hat Coding-Agenten vom Laptop geholt, und der Berechtigungsdialog bleibt der Engpass
Die Leitungen sind fast gelöst. Der Berechtigungsdialog bleibt der menschliche Engpass.
NVIDIA gibt vier 16B-Weltmodelle frei, und der Teil ohne Benchmark ist Policy-Learning
NVIDIA sagt, es sei ungemessen, ob diese Modelle Policy-Learning tragen. Der Satz gehört in jede Geschichte über offene Weltmodelle.
Vier der Top-Repos auf GitHub sind heute Skill-Bibliotheken, und jetzt haben wir ein Packaging-Problem
Die Verbreitung läuft. Das interessante Scheitern sind vier nicht kompatible Wege, dasselbe Objekt zu installieren.
Thinking Machines liefert ein 594B-Modell und schiebt die Gewichte auf nächste Woche
Ein starkes Modell, ein dokumentiertes Rezept, eine unterschätzte Fähigkeit und ein Termin, den das Labor nicht zugesagt hat.