Den Agenten verbessern, ohne das Modell anzufassen

Ein Harness ist im heutigen Sprachgebrauch alles rund um das Modell, was es handlungsfähig macht: der System-Prompt, die Werkzeuge, das Gedächtnis, die Skills, die Orchestrierung. Zwei Jahre lang verbesserte man einen Agenten, indem man das Modell verbesserte. Harness² stellt eine andere Frage: Was wäre, wenn man die Gewichte in Ruhe lässt und stattdessen das Gerüst neu schreibt – pro Aufgabe, automatisch?
Google Research hat das Paper im Oktober veröffentlicht (arXiv 2610.14224) und den Code unter Apache-2.0 geöffnet. Das Repo hat rund 22 000 Sterne. Die Behauptung ist konkret genug, um über sie zu streiten: Ein Rekursionsschritt verbessert GLM-5 und Gemini 3.5 Flash gegenüber ihren Basis-Harnesses, mit Gewinnen von bis zu 11,5 Punkten auf WorkBuddy-Bench, 4,5 Punkten auf JobBench und 11,8 Prozentpunkten bei der partiellen Erfolgsquote von LAB.
Kein Fine-Tuning. Kein neues Modell. Die Gewichte bleiben die ganze Zeit eingefroren.
Die acht Dinge, die es ändern darf
Das Framework stellt genau acht editierbare Komponenten bereit, und diese Liste ist die klarste Aussage darüber, was die Autoren unter einem Harness verstehen:
System-Prompt, Guardrails, Gedächtnis, Werkzeugbeschreibung, Subagenten, Skills, Skripte, Plugins.
Vier davon bauen Kontext. Zwei definieren die Werkzeugschnittstelle. Eines orchestriert delegierte Arbeit. Eines steuert Middleware. Wer einen Agenten gebaut hat und das Gefühl hatte, die Hälfte der Arbeit gehe in diese acht Dinge und nichts ins Modell, findet hier die Formalisierung seines Jobs.
Die Acht-Punkte-Liste wirkt zugleich als Grenze. Harness² kann das Modell nicht ändern, nicht neu trainieren, nicht an die Gewichte. Alles, was es tut, ist Text: Anweisungen umschreiben, einen Skill hinzufügen oder entfernen, die Beschreibung eines Subagenten ändern, ein anderes Skript aufrufen lassen.

Wie es ohne Labels besser wird
Das ist der Teil, den ich eine Weile nicht glauben wollte, weil er klingt, als könnte er nicht funktionieren.
Die Schleife auf Aufgabenebene heißt Propose–Probe–Compose und wird als kontrastiv beschrieben. Der Harness-Editor schlägt zwei Arten von Änderungen vor: invariante Änderungen und Domänenänderungen. Kandidaten-Harnesses werden auf derselben Aufgabe ausgeführt. Dann betrachtet ein Composer die Verhaltensunterschiede zwischen den Läufen und setzt daraus einen verfeinerten Harness zusammen.
Beachten Sie, was fehlt: Ground-Truth-Feedback. Kein Reward-Modell, kein menschliches Label, kein Signal „diese Antwort war richtig“. Das System vergleicht seine eigenen Läufe, fragt, welche Verhaltensweisen sich unterscheiden, und behält den Harness, der das gewünschte Verhalten erzeugt hat.
Das funktioniert, weil die meisten Agentenfehler ohne Label sichtbar sind. Der Agent hat ein Werkzeug mit einem fehlerhaften Argument aufgerufen. Er ist dreimal über dieselbe Datei gelaufen. Er hat eine Zusammenfassung geschrieben, aber das Dokument nie geöffnet. Man muss die richtige Antwort nicht kennen, um zu sehen, dass die Trajektorie kaputt war. Kontrastiver Vergleich reicht, um das sichtbar zu machen, und ein Harness, der keine kaputten Trajektorien mehr produziert, punktet besser bei dem, was der Benchmark misst.
Die zweite Schleife macht daraus ein System statt eines Tricks. Ein persistenter Improvement-Harness sammelt die übernommenen Harnesses und die belegten Lehren aus jeder Aufgabe und nutzt sie, um die nächste Verfeinerung zu steuern. Mit anderen Worten: Es wird besser darin, besser zu werden – und besser wird nicht das Modell.
Das Benchmark-Ergebnis und wie man es liest
Drei Benchmarks: JobBench für professionelle Arbeit, LAB für juristische Arbeit, WorkBuddy-Bench für Büro, Web und Code. Vier Modell-Harness-Konfigurationen. Ein Rekursionsschritt.
Die Gewinne – 11,5 Punkte, 4,5 Punkte, 11,8 Prozentpunkte – sind groß für eine Methode, die nur Text ändert. Zwei Dinge machen sie glaubwürdiger als die übliche Agenten-Benchmark-Behauptung.
Erstens sind die Baselines echte Harnesses, kein nacktes Modell. Verglichen wird mit OpenCode und Codex, beides kompetente Gerüste. Ein kompetentes Gerüst auf einem Büroaufgaben-Benchmark um 11 Punkte zu schlagen ist etwas anderes, als einen Chat-Completions-Aufruf zu schlagen.
Zweitens berichtet das Paper, dass ein größeres Rekursionsbudget auf Aufgabenebene weitere Gewinne bringt. Eine Methode, die nur bei k=1 funktioniert, ist meist ein Prompt-Trick mit Glück. Eine Methode, die mit dem Budget skaliert, macht Suche, und Suche ist meist real.
Was ich sehen wollte, bevor ich den absoluten Zahlen glaube: Wie viel des Gewinns übersteht einen anderen Benchmark derselben Domäne, und wie viel davon ist der Harness, der die Bewertungsraster des Benchmarks findet. Das ist keine Kritik an den Autoren. Es ist das Dauerproblem jedes Agenten-Benchmarks im Jahr 2026.
Die Warnung zur Eval-Integrität steht im README
Unter „Web access“ steht etwas, das man zitieren statt paraphrasieren sollte: Der Netzwerkzugriff des Executors ist unbeschränkt, Codex läuft mit deaktivierter Sandbox, und öffentliche Benchmark-Raster sind online erreichbar. Vor der Evaluierung seien Netzwerkbeschränkungen zu konfigurieren, um den Zugriff auf Benchmark-Antworten und Bewertungskriterien zu verhindern.
Das ist eine bewundernswert direkte Warnung und zugleich ein Eingeständnis über das ganze Feld. Hat der Agent unbeschränktes Internet und der Benchmark öffentliche Raster, dann ist ein Teil der gemessenen Verbesserung der Agent, der den Lösungsschlüssel findet. Die Autoren benennen es und liefern die Gegenmaßnahme. Die meisten Releases tun das nicht.
Hier zählt es mehr als sonst, weil Harness-Optimierung genau der Prozess ist, alles zu finden, was den Score nach oben treibt. Gibt man diesem Prozess eine Internetverbindung und ein öffentliches Raster, hat man einen sehr effizienten Rasterfinder gebaut.
Was das für Agentenbauer ändert
Drei praktische Verschiebungen, wenn die Methode hält.
Der Harness wird ein versioniertes Artefakt. Derzeit lebt das Verhalten eines Agenten in einer Prompt-Datei, einer Werkzeugliste und ein paar Skills, und es ändert sich, wenn jemand den Prompt editiert. Harness² erzeugt pro Aufgabe einen übernommenen Harness, gespeichert unter runs/, mit Reflexionsnotizen. Das ist eine viel bessere Review-Einheit als ein Diff an einem System-Prompt mit 4 000 Tokens.
Spezialisierung pro Aufgabe wird billig. Die ganze Prämisse ist, dass der Harness auf die anstehende Aufgabe abgestimmt sein sollte und nicht als globale Konfiguration ausgeliefert wird. Ist ein Rekursionsschritt bezahlbar – und verglichen mit Fine-Tuning ist er das –, dann ist „wir haben einen juristischen und einen Büro-Harness“ keine Architekturentscheidung mehr, sondern eine Laufzeitentscheidung.
Die Stellenbeschreibung des Modells schrumpft. Wenn 11 Punkte aus dem Gerüst kommen können, dann ist viel von dem, was auf Agenten-Benchmarks „Modellfähigkeit“ heißt, in Wahrheit Harness-Qualität, und das Leaderboard misst das falsche Objekt. Für alle, deren Produkt ein Basismodell ist, ist das unbequem; für alle, deren Produkt ein Workflow ist, befreiend.
Die ehrliche Grenze
Harness² optimiert gegen einen Benchmark. Es weiß nicht, was man will. Ist der Benchmark ein schlechter Stellvertreter für die eigenen Nutzer – und das ist er immer ein wenig –, dann optimiert die Rekursion zuversichtlich den Stellvertreter, und man bekommt einen Agenten, der besser im Test und nicht besser in der Arbeit ist.
Das ist kein Fehler des Papers. Es ist die Form des ganzen Feldes im Moment: Wir sind sehr gut darin geworden, Agenten zu messen, und kaum besser darin zu spezifizieren, was sie eigentlich tun sollen. Das Interessante an diesem Release ist, dass es das zweite Problem unmöglich zu ignorieren macht. Sobald der Harness eine Variable ist, über die man suchen kann, ist „worauf soll der Harness optimieren“ keine philosophische Frage mehr, sondern die einzige, die übrig bleibt.
Verwandte Artikel
Google hat Coding-Agenten vom Laptop geholt, und der Berechtigungsdialog bleibt der Engpass
Die Leitungen sind fast gelöst. Der Berechtigungsdialog bleibt der menschliche Engpass.
NVIDIA gibt vier 16B-Weltmodelle frei, und der Teil ohne Benchmark ist Policy-Learning
NVIDIA sagt, es sei ungemessen, ob diese Modelle Policy-Learning tragen. Der Satz gehört in jede Geschichte über offene Weltmodelle.
Vier der Top-Repos auf GitHub sind heute Skill-Bibliotheken, und jetzt haben wir ein Packaging-Problem
Die Verbreitung läuft. Das interessante Scheitern sind vier nicht kompatible Wege, dasselbe Objekt zu installieren.
Thinking Machines liefert ein 594B-Modell und schiebt die Gewichte auf nächste Woche
Ein starkes Modell, ein dokumentiertes Rezept, eine unterschätzte Fähigkeit und ein Termin, den das Labor nicht zugesagt hat.