La couche de gouvernance des agents arrive, et son déploiement s'accélère

Pendant deux ans, la question concernant les agents IA portait sur la capacité. Peut-il réserver le vol, ouvrir le ticket, clôturer le sinistre. Cette question est largement réglée, du moins pour les tâches étroites qui intéressent réellement les entreprises. La nouvelle question est celle de la gouvernance : une fois qu'un agent tourne en production avec de véritables identifiants, comment une entreprise le maintient-elle dans les limites.

Octobre a apporté une série de produits conçus exactement pour cela, et le schéma est difficile à manquer.

OpenAI construit une couche opérationnelle pour ses propres agents

OpenAI a lancé Presence, décrit comme une couche opérationnelle pour déployer des agents vocaux et conversationnels. L'argument est un contrôle structuré : définir un périmètre de mission pour chaque agent, limiter les connaissances auxquelles il peut accéder, restreindre les actions qu'il est autorisé à entreprendre, et associer par défaut l'évaluation et l'escalade humaine. Les exemples de lancement sont révélateurs, car ils nomment les fonctions que les entreprises ont été les plus réticentes à confier. Support de facturation. Sinistres d'assurance. Demandes informatiques des employés.

Ce sont les tâches où un agent a accès à de l'argent, à des données personnelles et à des systèmes de référence. Ce sont aussi les tâches où une action erronée coûte cher et est difficile à inverser. Presence se lit comme l'aveu d'OpenAI qu'un modèle performant ne suffit pas. Le modèle répond à la question. La couche opérationnelle décide si la réponse est autorisée à devenir une action.

Un second produit pour les agents déjà en fonctionnement

Classie a lancé Supervise pour répondre au même besoin, présenté comme un suivi, un contrôle et une comptabilisation en temps réel des agents déjà en production. La distinction compte. Presence s'adresse aux agents que vous êtes sur le point de déployer. Supervise cible la réalité plus désordonnée des agents mis en service il y a six mois et qui ont accumulé des autorisations que personne ne se souvient avoir accordées.

Les deux produits décrivent le même marché sous des angles opposés, et ensemble ils marquent un tournant. L'acheteur ne demande plus si un agent peut accomplir une tâche. L'acheteur demande ce qui se passe le jour où il fait quelque chose d'inattendu, et s'il existe un plan de contrôle qui l'intercepte.

Les acteurs de la gouvernance intègrent les agents dans leurs plateformes

OneTrust a étendu sa plateforme autour de la gouvernance de l'IA à l'exécution : un plan de contrôle, un centre de commande et des intégrations avec ChatGPT, Claude, Copilot et Glean. Le cadrage est que la gouvernance ne peut pas être un exercice de documentation qui a lieu avant le déploiement. Elle doit s'appliquer aux actions au moment où elles se produisent, préserver les preuves des décisions et se connecter aux programmes de confidentialité et de risque que les entreprises exécutent déjà.

Ce point d'intégration est l'enjeu réel. Les clients d'OneTrust ne veulent pas d'un nouveau tableau de bord. Ils veulent que la supervision des agents réside dans le même système qui gère déjà le consentement, la confidentialité et le risque lié aux données, car c'est là que la piste d'audit doit survivre.

Les fournisseurs de sécurité font valoir le même argument de l'autre côté. Le CTO de Red Hat défend l'idée que les garde-fous au niveau du modèle cessent d'être suffisants dès qu'un agent peut exécuter des actions à travers les systèmes d'entreprise. La frontière de sécurité se déplace du modèle vers les couches d'identité, d'exécution et de réseau qui l'entourent. Dans cette lecture, un agent est un nouveau type d'initié avec un badge, pas un chatbot plus intelligent.

La piste d'audit est le produit

Retirez l'image de marque et les produits convergent vers un seul livrable : un enregistrement. Qui a démarré l'agent, quel périmètre il avait, ce qu'il a lu, ce qu'il a modifié et qui a approuvé le résultat. Les secteurs réglementés font cela pour les humains depuis des décennies. L'étendre à un logiciel qui agit de lui-même est nouveau, et c'est ce qui débloque l'adoption.

Salesforce et AWS ont fait le même pari avec Agentforce 360, qui génère des pistes d'audit immuables pour chaque décision d'agent et exécute son moteur de raisonnement sur Claude via Bedrock. CrowdStrike a signé tôt, évoquant la simplicité d'approvisionnement aux côtés de la sécurité. Quand un client peut acheter l'argument de gouvernance dans le même contrat que la capacité, l'affaire devient plus facile.

Pourquoi la supervision est plus difficile qu'il n'y paraît

Les produits ressemblent à des tableaux de bord. Sous la surface, la gouvernance des agents doit résoudre un problème qui n'existait pas avant cette décennie : comment décrire le comportement correct d'un système qui improvise.

Un service traditionnel fait ce pour quoi il a été programmé. Un employé humain connaît les règles et on peut lui demander d'expliquer une décision. Un agent se situe entre les deux. Il a un objectif et un ensemble d'outils, et il choisit les étapes. Cette liberté est à l'origine de la valeur, et c'est aussi là que réside le risque, car la même flexibilité qui permet à un agent de traiter une demande inhabituelle lui permet d'entreprendre une action inhabituelle que personne n'a autorisée.

Les produits de gouvernance s'attaquent à ce problème sous plusieurs angles. Les limites de périmètre définissent ce que l'agent est autorisé à tenter. Les limites de connaissances décident ce qu'il peut lire. Les approbations d'actions insèrent un point de contrôle avant toute action irréversible. L'évaluation détecte les régressions au fil du temps, et l'escalade humaine gère les cas que l'agent signale comme incertains. Chaque contrôle est imparfait. Superposés, ils réduisent l'espace où une mauvaise décision peut se cumuler sans supervision.

L'exigence subtile est que les contrôles doivent être invisibles quand tout va bien. Une couche de supervision qui ralentit chaque tâche de routine sera désactivée en un mois, généralement par la même équipe qui l'a demandée. Les bons produits sont ceux qui n'interviennent qu'aux marges, ce qui est un cahier des charges d'ingénierie bien plus difficile que de livrer un moteur de politiques.

Les habitudes d'achat évoluent en même temps

Il y a dans ces lancements un signal commercial facile à manquer. Les produits de gouvernance ne sont pas vendus comme des modules complémentaires à un abonnement à un modèle. Ils sont vendus comme des plateformes, parfois par des entreprises qui n'ont rien à voir avec l'entraînement de modèles.

Cela vous dit où se déplace la valeur perçue. Quand les modèles étaient rares et éblouissants, le modèle était le produit. Maintenant que plusieurs sont assez bons pour le même travail, le différenciateur devient ce qui les entoure : les contrôles, les journaux, les intégrations, la capacité de prouver à un auditeur ce qui s'est passé. Les acheteurs commencent à traiter l'agent comme un composant d'un système gouverné plutôt que comme le système lui-même.

Cela signifie aussi que l'acheteur a changé. La personne qui signe pour une plateforme de gouvernance n'est souvent pas celle qui a signé pour le modèle. Les équipes de sécurité, de risque et de conformité entrent dans la décision, et elles apportent un ensemble différent de questions. Non pas à quel point c'est intelligent, mais qui peut le désactiver, ce qu'il laisse derrière lui et où résident les preuves. Les produits conçus pour ce public paraissent ternes à côté d'une démo, et ce sont eux qui rendent la démo déployable.

Ce que cela dit de la phase suivante

L'arrivée groupée de produits de gouvernance signifie généralement que la phase de capacité est terminée et que la phase de confiance a commencé. Cela s'est produit avec le cloud, quand les outils de conformité sont apparus des années après l'infrastructure. Cela s'est produit avec le mobile, quand la gestion des appareils a rattrapé l'explosion des applications. Les agents suivent la même courbe, simplement compressée.

La lecture pratique pour quiconque déploie des agents aujourd'hui est sans détour. Intégrez la supervision dès le départ. Ajouter a posteriori un plan de contrôle à un agent qui a fonctionné sans entraves pendant un an est plus difficile que d'en mettre un en place avant le lancement, et les outils pour le faire sont enfin disponibles. La fenêtre où « nous ajouterons la gouvernance plus tard » semblait raisonnable s'est refermée.