← Retour au blog
AiEnviron 8 min de lecture

Améliorer un agent sans toucher au modèle

Publié le 11 nov. 2026
Améliorer un agent sans toucher au modèle

Un harness, dans le vocabulaire actuel, c'est tout ce qui entoure le modèle et lui permet d'agir : le prompt système, les outils, la mémoire, les skills, l'orchestration. Pendant deux ans, on améliorait un agent en améliorant le modèle. Harness² pose une autre question : et si on laissait les poids tranquilles et qu'on réécrivait l'échafaudage, par tâche, automatiquement ?

Google Research a publié l'article en octobre (arXiv 2610.14224) et ouvert le code sous Apache-2.0. Le dépôt compte environ 22 000 étoiles. L'affirmation est assez précise pour être discutée : une étape de récursion améliore GLM-5 et Gemini 3.5 Flash par rapport à leurs harness de base, avec des gains allant jusqu'à 11,5 points sur WorkBuddy-Bench, 4,5 points sur JobBench et 11,8 points de pourcentage sur le taux de réussite partielle de LAB.

Pas de fine-tuning. Pas de nouveau modèle. Les poids restent gelés du début à la fin.

Les huit choses qu'il a le droit de changer

Le framework expose exactement huit composants modifiables, et cette liste est l'énoncé le plus clair de ce que les auteurs entendent par harness :

Prompt système, garde-fous, mémoire, description des outils, sous-agents, skills, scripts, plugins.

Quatre construisent le contexte. Deux définissent l'interface des outils. Un orchestre le travail délégué. Un contrôle le middleware. Si vous avez construit un agent et eu le sentiment que la moitié de votre effort partait dans ces huit choses et rien dans le modèle, ce dépôt est la formalisation de votre métier.

La liste sert aussi de frontière. Harness² ne peut pas changer le modèle, ne peut pas le réentraîner, ne peut pas toucher à ses poids. Tout ce qu'il fait est du texte : réécrire des instructions, ajouter ou retirer un skill, modifier la description d'un sous-agent, changer le script appelé.

Une paroi d'atelier couverte de contours d'outils étiquetés, la plupart vides, quelques-uns garnis, avec une planchette de listes de contrôle en dessous

Comment il s'améliore sans étiquettes

C'est la partie que j'ai mis du temps à accepter, parce qu'elle donne l'impression de ne pas pouvoir marcher.

La boucle au niveau de la tâche s'appelle Propose–Probe–Compose, et elle est décrite comme contrastive. L'éditeur de harness propose deux types de modifications : des modifications invariantes et des modifications de domaine. Les harness candidats sont exécutés sur la même tâche. Puis un composeur examine les différences de comportement entre les exécutions et assemble à partir de là un harness affiné.

Notez ce qui manque : le retour de vérité terrain. Pas de modèle de récompense, pas d'étiquette humaine, pas de signal « cette réponse était correcte ». Le système compare ses propres exécutions, demande quels comportements diffèrent, et garde le harness qui a produit le comportement voulu.

Cela fonctionne parce que la plupart des échecs d'agent sont visibles sans étiquette. L'agent a appelé un outil avec un argument mal formé. Il a bouclé trois fois sur le même fichier. Il a écrit un résumé sans jamais ouvrir le document. Pas besoin de connaître la bonne réponse pour voir que la trajectoire était cassée. La comparaison contrastive suffit à faire remonter ces cas, et un harness qui cesse de produire des trajectoires cassées obtient un meilleur score sur ce que le benchmark mesure.

La seconde boucle est ce qui en fait un système plutôt qu'une astuce. Un harness d'amélioration persistant accumule les harness adoptés et les leçons appuyées sur des preuves de chaque tâche, et s'en sert pour guider le raffinement suivant. Autrement dit, il devient meilleur pour devenir meilleur, et ce qui s'améliore n'est pas le modèle.

Le résultat sur les benchmarks, et comment le lire

Trois benchmarks : JobBench pour le travail professionnel, LAB pour le juridique, WorkBuddy-Bench pour le bureau, le web et le code. Quatre configurations modèle–harness. Une étape de récursion.

Les gains — 11,5 points, 4,5 points, 11,8 points de pourcentage — sont importants pour une méthode qui ne change que du texte. Deux choses les rendent plus crédibles que la revendication habituelle en benchmarks d'agents.

D'abord, les références sont de vrais harness, pas un modèle nu. La comparaison se fait contre OpenCode et Codex, qui sont des échafaudages compétents. Battre un échafaudage compétent de 11 points sur un benchmark de tâches de bureau n'est pas la même chose que battre un appel de chat completions.

Ensuite, l'article indique qu'augmenter le budget de récursion au niveau de la tâche apporte des gains supplémentaires. Une méthode qui ne marche qu'à k=1 est en général une astuce de prompt qui a eu de la chance. Une méthode qui s'améliore avec le budget fait de la recherche, et la recherche est généralement réelle.

Ce que je voudrais avant de croire aux chiffres absolus : quelle part du gain survit sur un autre benchmark du même domaine, et quelle part relève du harness qui trouve la grille d'évaluation du benchmark. Ce n'est pas une critique des auteurs. C'est le problème permanent de tout benchmark d'agent en 2026.

L'avertissement sur l'intégrité des évaluations est dans le README

Sous « Web access », le README dit quelque chose qui mérite d'être cité plutôt que paraphrasé : l'accès réseau de l'exécuteur n'est pas restreint, Codex tourne avec son sandbox désactivé, et les grilles publiques des benchmarks sont accessibles en ligne. Avant l'évaluation, il faut configurer des restrictions réseau pour empêcher l'accès aux réponses et aux critères de notation.

C'est un avertissement admirablement direct, et c'est aussi un aveu sur tout le domaine. Si votre agent a un accès internet non restreint et que votre benchmark a des grilles publiques, alors une fraction de votre amélioration mesurée est l'agent qui trouve le corrigé. Les auteurs le signalent et fournissent la mitigation. La plupart des publications ne le font pas.

Cela compte plus qu'ailleurs ici, parce que l'optimisation de harness est précisément le processus qui consiste à trouver tout ce qui fait monter le score. Donnez à ce processus une connexion internet et une grille publique, et vous avez construit un trouveur de grille très efficace.

Ce que cela change pour ceux qui construisent des agents

Trois déplacements pratiques, si la méthode tient.

Le harness devient un artefact versionné. Aujourd'hui, le comportement d'un agent vit dans un fichier de prompt, une liste d'outils et quelques skills, et il change quand quelqu'un édite le prompt. Harness² produit un harness adopté par tâche, enregistré sous runs/, avec des notes de réflexion. C'est une bien meilleure unité de revue qu'un diff sur un prompt système de 4 000 tokens.

La spécialisation par tâche devient bon marché. Toute la prémisse est que le harness doit être réglé pour la tâche devant lui, pas livré comme une configuration globale. Si une étape de récursion est abordable — et elle l'est, comparée au fine-tuning — alors « nous avons un harness juridique et un harness bureautique » cesse d'être une décision d'architecture pour devenir une décision d'exécution.

La fiche de poste du modèle se réduit. Si 11 points peuvent venir de l'échafaudage, alors une bonne part de ce qu'on appelle « capacité du modèle » sur les benchmarks d'agents est en réalité de la qualité de harness, et le classement mesure le mauvais objet. C'est une conclusion inconfortable pour qui vend un modèle de base, et libératrice pour qui vend un workflow.

La limite honnête

Harness² optimise contre un benchmark. Il ne sait pas ce que vous voulez. Si votre benchmark est un mauvais proxy pour vos utilisateurs — et il l'est toujours, un peu — alors la récursion optimisera le proxy avec assurance, et vous obtiendrez un agent meilleur au test et pas meilleur au travail.

Ce n'est pas un défaut de l'article. C'est la forme de tout le domaine aujourd'hui : nous sommes devenus très bons pour mesurer les agents et pas beaucoup meilleurs pour spécifier ce que nous voulons qu'ils fassent. L'intéressant dans cette publication, c'est qu'elle rend le second problème impossible à ignorer. Une fois le harness devenu une variable sur laquelle on peut chercher, « sur quoi le harness doit-il optimiser » cesse d'être une question philosophique et devient la seule qui reste.

Articles associés