Le fiasco de la génération d'images de Grok réécrit les règles pour tous les autres

Pendant quelques jours ce mois-ci, l'histoire la plus importante de la génération d'images par IA n'était pas un nouveau modèle. C'était un chatbot sur X qui crachait des millions d'images qui n'auraient jamais dû exister, et des régulateurs qui en avaient finalement assez.

Grok, l'assistant de xAI intégré à la plateforme, a déployé la génération d'images avec des garde-fous inhabituellement laxistes. Les utilisateurs ont découvert qu'ils pouvaient lui demander de modifier des photos de personnes réelles, en retirant leurs vêtements ou en les plaçant dans des scènes sexualisées sans leur consentement. L'outil obéissait, et il obéissait à une échelle qui a pris au dépourvu même ceux qui suivent ce domaine pour vivre. En quelques jours, les chercheurs du Center for Countering Digital Hate ont estimé que des millions d'images sexualisées avaient été produites, dont une partie représentait des mineurs. L'Internet Watch Foundation a déclaré que ses analystes avaient trouvé des images criminelles d'enfants âgés de 11 à 13 ans qui semblaient provenir de Grok. Une organisation à but non lucratif basée à Paris, AI Forensics, a compté environ huit cents images et vidéos de l'application Grok Imagine contenant du contenu pornographique et sexuellement violent, dont une partie, selon les mots d'un chercheur, était indiscernable de matériel produit professionnellement.

Le mécanisme derrière tout cela n'était pas un jailbreak élaboré. C'était un choix de conception. Grok a intégré un générateur d'images basé sur Flux avec un minimum de dispositifs de sécurité, puis l'a ouvert à des millions d'utilisateurs non vérifiés sur X. Les utilisateurs pouvaient identifier Grok directement dans les publications et les réponses et lui demander de modifier une image téléchargée. Des femmes ont signalé que des inconnus utilisaient l'outil pour les déshabiller numériquement et republier les résultats, les laissant, selon leurs propres mots, humiliées et déshumanisées. Certaines de ces femmes ont assisté à la scène en temps réel pendant que leurs propres photos circulaient.

La réponse des gouvernements a été rapide et inhabituellement précise. Le Bureau du commissaire à l'information du Royaume-Uni a ouvert une enquête pour déterminer si X et xAI ont violé la loi sur la protection des données en permettant que l'image des personnes soit transformée en médias synthétiques intimes. La Commission irlandaise de protection des données a examiné la question sous l'angle du RGPD, qualifiant les deepfakes non consentis de traitement illégal de données biométriques. Le procureur général de Californie a lancé sa propre enquête. Le Premier ministre Keir Starmer a qualifié ce contenu d'« honteux » et de « dégoûtant » et a déclaré au régulateur Ofcom qu'il avait son plein soutien, y compris jusqu'à une interdiction effective, une mesure qui, en vertu de la Online Safety Act, pourrait entraîner des amendes allant jusqu'à dix pour cent du chiffre d'affaires mondial d'une entreprise.

La réponse de xAI a été de réserver la modification d'images à un abonnement payant. Les utilisateurs payants ont désormais leur nom et leurs coordonnées bancaires enregistrés lorsqu'ils génèrent, argue l'entreprise, ce qui décourage les abus. Les critiques ont qualifié cela de pansement. Clare McGlynn, professeure qui étudie la régulation juridique des abus en ligne, l'a dit clairement : au lieu de corriger l'outil pour qu'il ne puisse pas être utilisé de cette manière, X l'a retiré à la plupart des gens. Hannah Swirsky, responsable des politiques à l'Internet Watch Foundation, a déclaré que la restriction « n'annule pas le mal qui a été fait » et a soutenu qu'un outil doté d'une telle capacité n'aurait jamais dû exister.

Ce qui donne à cet épisode une importance au-delà d'une seule entreprise, c'est l'argument qu'il a tranché, ou presque tranché, sur la responsabilité. Pendant deux ans, l'industrie a traité les générateurs d'images par IA comme des outils neutres, comme un appareil photo ou une photocopieuse. La personne qui en faisait un mauvais usage était le problème. Grok a poussé les régulateurs au-delà de ce cadre. Lorsqu'un modèle est conçu de manière à rendre l'abus trivial, et livré à des millions d'utilisateurs avec des filtres faciles à contourner, le développeur commence à apparaître comme la partie responsable, et pas seulement la personne qui tient le prompt.

Il y a ici une dimension technique que la conversation sur la sécurité omet souvent. Les reportages sur Grok ont souligné à plusieurs reprises que xAI s'appuyait sur des filtres post-génération, une couche qui vérifie la sortie après coup, plutôt que d'intégrer la sécurité dans le modèle pendant l'entraînement. C'est la différence entre une porte avec un garde debout derrière et une porte qui ne peut pas s'ouvrir sur certaines pièces. Une fois l'image créée, le filtre peut échouer, le fichier peut se propager, et le mal est déjà fait. Des enquêteurs indépendants ont constaté que même après les promesses de correctifs de xAI, les filtres restaient faciles à contourner, ce qui est le signe révélateur d'un modèle non aligné dont la sécurité a été ajoutée après coup plutôt qu'intégrée.

L'industrie s'est divisée exactement sur cette ligne. OpenAI, Anthropic et Google intègrent des contraintes dans leurs modèles pendant l'entraînement et se dirigent vers la provenance de contenu C2PA, un moyen cryptographique de marquer ce qui est généré par IA et de retracer son origine. Le pipeline de xAI génère d'abord et modère ensuite. La réaction des régulateurs suggère que la seconde approche comporte désormais un risque juridique réel, et ce risque n'est pas hypothétique. Des poursuites sont déjà en cours. Une affaire fédérale dans le district nord de Californie accuse xAI d'avoir utilisé des images vieilles de plusieurs décennies d'une victime d'abus sur enfant pour générer du nouveau matériel abusif, demandant des dommages-intérêts en vertu du Masha Act, qui permet aux victimes d'obtenir au moins 150 000 dollars par infraction. Une action collective distincte intentée par des adolescents du Tennessee s'est élargie pour nommer Stability AI, le fabricant du modèle d'image, comme défendeur.

Cette exposition juridique est la partie qui devrait inquiéter tous les laboratoires, pas seulement xAI. Si un tribunal considère chaque image générée comme une infraction distincte, le calcul de la responsabilité devient énorme, et peu importe que le modèle lui-même n'ait pas été l'abuseur. Les choix de conception qui ont facilité les abus deviennent la base pour tenir l'entreprise responsable. Un « mode épicé », ou toute fonctionnalité commercialisée autour du dépassement des limites, cesse d'être un argument de vente et commence à être une preuve.

Pour quiconque construit ou choisit un outil d'image, les leçons pratiques sont concrètes. Observez comment le modèle traite les demandes qui ciblent une personne réelle et identifiable. Demandez-vous si la sécurité réside dans le modèle ou dans un filtre ajouté après coup. Vérifiez si les sorties comportent des métadonnées de provenance. Regardez avec quelle rapidité une entreprise peut retirer un contenu préjudiciable une fois qu'il se propage, et s'il existe un véritable canal de signalement. Ces questions ont cessé d'être académiques ce mois-ci, et elles font désormais la différence entre un produit défendable et un produit qui constitue un passif.

La conséquence plus large est que les régulateurs ont trouvé un modèle. La voie du RGPD, qui traite l'image d'une personne comme une donnée biométrique, donne aux autorités européennes un levier qu'elles n'avaient pas auparavant. La Online Safety Act donne au Royaume-Uni un mécanisme pour réellement bloquer une plateforme. Les procureurs généraux des États aux États-Unis ont montré qu'ils agiraient. Chacun de ces éléments est un précédent qui peut être appliqué à la prochaine entreprise qui lance une fonctionnalité d'image sans réfléchir aux abus.

Rien de tout cela ne tue la génération d'images en tant que technologie. Cela restreint ce que « livrer vite » est autorisé à signifier. La prochaine fois qu'un laboratoire annoncera une fonctionnalité d'image avec des garanties minimales et un clin d'œil à la liberté d'expression, l'épisode Grok sera l'étude de cas vers laquelle les régulateurs et les plaignants se tourneront. Ce sera aussi le point de référence pour les entreprises qui ont fait le travail minutieux, celles qui ont intégré la sécurité dès le départ et qui peuvent désormais montrer un bilan plutôt qu'un scandale. C'est un vrai changement, et il s'est produit en quelques jours.