Si votre agent suit le même script à chaque fois, compilez le script

La plupart des agents en production, c'est un modèle de langage qui lit une procédure et improvise les étapes. Quelqu'un a écrit un document expliquant comment traiter un remboursement, trier un ticket ou rapprocher une facture, et le modèle le lit à l'exécution et décide quoi faire à chaque embranchement.
Un article qui s'appelle ReTrace pose la question qui vient naturellement. Si la procédure ne change pas d'une exécution à l'autre, pourquoi un modèle décide-t-il des étapes à chaque fois ?
La thèse
Les chiffres annoncés sont assez précis pour qu'on puisse les contester, et c'est bon signe. Sur 79 procédures de production, les workflows générés par ReTrace ont mené à bien 93.8% des tâches. Les agents d'origine en réussissaient 96.8%. Les workflows compilés coûtent 24% de moins par tâche.
Sur un autre benchmark, l'écart de temps est bien plus large : 1.3 seconde contre 170 secondes pour l'agent équivalent.
Lus ensemble, ces chiffres dessinent la forme de l'échange. Vous abandonnez trois points de réussite et vous obtenez une tâche qui coûte un quart de moins et se termine en environ 1% du temps réel. Pour un workflow qui tourne 10,000 fois par jour, cela change ce à quoi il sert.
Comment ça compile
Le mécanisme relève plutôt de l'extraction d'un programme que de l'art de mieux écrire un prompt.
Le système observe un agent suivre une procédure et extrait le raisonnement derrière chaque appel d'outil. Ces raisons ne sont pas conservées sous forme de prose. Les conditions qui reviennent d'une exécution à l'autre sont fusionnées dans un document de règles compact, et ce document est compilé en un workflow exécutable : un graphe d'étapes, de branches et d'appels d'outils qui tourne sans modèle dans le chemin de décision.
Résultat : le jugement du modèle est capturé une fois, au moment de la construction, puis réutilisé. À l'exécution, il ne reste que du code dérivé de ce jugement.
Si cela vous rappelle l'argument en faveur de la compilation ahead-of-time face à l'interprétation, c'est parce que c'en est un. Un interpréteur est souple et paie cette souplesse à chaque exécution. Un compilateur paie une fois puis tourne vite, et casse quand l'entrée cesse de correspondre à ce pour quoi il a été compilé.
Où passent les trois points
La question honnête est de savoir quels 3% de tâches le workflow compilé laisse tomber, et la formulation de l'article suggère que ce sont les cas inhabituels.
Un document de procédure couvre le chemin normal et évoque les exceptions d'un geste. Un agent qui le lit peut improviser quand un cas ne rentre pas dans le cadre : poser une question de clarification, essayer un autre outil, remarquer que le compte du client porte un indicateur qui change tout. Un workflow compilé fait exactement ce pour quoi il a été compilé, et quand un cas sort du document de règles, il échoue ou fait une chose fausse avec assurance.
C'est pourquoi les 24% d'économie sont intéressants et pourquoi les 93.8% sont le chiffre qui décide de l'adoption. Dans un workflow où une tâche échouée est reprise par un humain à $10 le cas, économiser 24% de calcul en créant 3% d'escalades de plus peut être une perte nette. Dans un workflow où une tâche échouée est rattrapée par un validateur en aval et rejouée automatiquement, les mêmes chiffres sont de l'argent gratuit.
L'article ne semble pas ventiler les échecs par type, du moins pas dans ce qui est disponible. Cette ventilation est précisément ce dont une équipe a besoin avant de passer une procédure en production.
Ce que cela dit de la pile d'agents
Le cadre dominant des deux dernières années, c'est que les agents s'améliorent quand les modèles s'améliorent. ReTrace pointe un autre axe. Une partie du travail des agents est réellement ouverte et exige un modèle dans la boucle à chaque étape. Une autre partie est une procédure avec un arbre de décision fixe, et y faire tourner un modèle est un gaspillage de tokens, comme appeler un modèle de langage pour analyser une date.
Le plus intéressant, c'est que la frontière se découvre au lieu de se déclarer. Vous n'avez pas à décider à l'avance lesquels de vos workflows sont procéduraux. Vous lancez l'agent, vous regardez ce qu'il fait, et vous laissez l'étape d'extraction vous dire si le schéma de décision est assez stable pour être compilé.
Cela a une conséquence organisationnelle. Le workflow compilé est un artefact lisible. Quelqu'un peut l'ouvrir et voir les vraies règles, y compris celles que personne n'a documentées, comme "si le remboursement dépasse cinq cents, passer à un humain", qui n'existe que parce que l'agent l'a déduite des exemples. C'est une meilleure piste d'audit qu'une transcription, et c'est le genre de chose qu'une équipe de conformité peut valider.
Le problème de maintenance que personne n'a résolu
Les workflows compilés ont un mode de défaillance que les agents n'ont pas : la dérive. Changez la politique de remboursement et le graphe compilé continue d'appliquer l'ancienne jusqu'à ce que quelqu'un recompile. Changez le schéma d'un outil et le workflow appelle une fonction qui n'accepte plus ces arguments.
Un agent qui lit un document de procédure a le même problème, en plus doux. Il lit le document courant, donc un changement de politique se propage à l'exécution suivante. Il lit aussi le schéma courant, donc un paramètre renommé est géré. Vous payez cette adaptabilité à chaque appel, et tout l'argument de ReTrace est que vous payez trop.
Le correctif est évident et sans glamour : recompiler au changement, et traiter le document de règles comme un artefact versionné, soumis au même processus de revue que le code. Que l'outillage rende cela facile ou non, c'est la différence entre un résultat de recherche et un produit.
Faut-il essayer
Si vous faites tourner à volume quoi que ce soit qui suit une procédure écrite, le calcul vaut la peine sur vos propres données. Prenez un workflow, journalisez quelques centaines d'exécutions, et regardez à quelle fréquence l'agent a pris un chemin absent du document. Si la réponse est proche de jamais, vous payez un modèle pour être un switch.
Si la réponse est souvent, votre procédure est moins une procédure que vous ne le pensiez, et la compiler produira un workflow qui échoue sur les cas dont votre activité se soucie vraiment.
La contribution la plus utile de l'article est peut-être de rendre cela mesurable. Pendant deux ans, le débat sur les agents a porté sur la capacité, et la capacité est difficile à chiffrer. ReTrace chiffre une décision précise : combien vaut le jugement d'un modèle par étape, en dollars et en secondes. Sur 79 procédures, la réponse est 24% de calcul en moins et 99% de latence en moins, pour trois points de réussite. C'est un chiffre avec lequel une équipe finance peut travailler.
L'article complet est sur arXiv, et ce qui circule pour l'instant reste mince sur les détails d'implémentation, alors prenez les chiffres comme une thèse et pas comme une recette. Mais la question posée est la bonne, et toute équipe qui fait tourner des agents à l'échelle va bientôt se la faire poser par quelqu'un qui tient une facture.
Articles associés
La règle ne vise pas les puces, elle vise l'accès à distance
Washington ne contrôle plus seulement la puce qui traverse une frontière, mais le calcul qui la traverse. Cinq pays, une licence, et un flou qui coûte cher aux néoclouds.
Trois documents en neuf jours, et un comité qui compte
En neuf jours, le conseil de Nvidia a publié une enquête, créé une présidence et monté un comité export. Ce dernier est le seul qui change vraiment la machine.
AMD a pris 18,93 % pour une raison qui ne parle pas d'AMD
AMD a gagné 18,93 % pendant que Nvidia perdait 12,75 %. Le marché n'a pas choisi un gagnant : il a fui un nom. La différence compte pour les deux prochaines années.
Ce que Colette Kress doit dire en trois phrases
Nvidia publie son premier trimestre sans Huang. Derrière des chiffres attendus, une seule question : la nouvelle patronne peut-elle encore vendre la visibilité du groupe ?