Quelqu'un a catalogué 13 000 façons dont l'écriture IA se trahit

Une étude de l’entreprise d’analyse d’écriture Graphite a fait quelque chose d’utile pour quiconque lit beaucoup de prose générée par machine : elle a cessé de deviner et s’est mise à compter.

L’équipe a pris 10 000 articles publiés avant l’existence de ChatGPT, a demandé à des modèles d’IA de les réécrire, puis a comparé les deux piles. Il en est ressorti une liste d’environ 13 000 expressions qui apparaissent au moins deux fois plus souvent dans les versions IA que dans les originaux humains. Pas des phrases entières. Des expressions. De petites tournures habituelles qu’un modèle utilise lorsqu’il remplit du vide.

Les signes révélateurs ont migré, ils n’ont pas disparu

La partie évidente de ce constat, c’est le catalogue lui-même. La partie plus intéressante, c’est ce qui s’est produit pendant qu’il était constitué.

Greg Druck, directeur de l’IA chez Graphite, a déclaré que la courbe de tendance va dans deux directions à la fois. Les marqueurs plus anciens et plus voyants, comme les tirets cadratins, ont été réduits à l’entraînement, parce que les développeurs les ont remarqués et s’y sont attaqués. Mais quand un ensemble de tics est gommé, un autre se développe dans l’espace laissé libre. Le catalogue n’a pas raccourci avec le temps. Il est devenu moins familier.

C’est le noyau inconfortable de la question. Les gens continuent de traiter la détection de l’IA comme un problème résolu, d’un côté ou de l’autre. Soit les détecteurs fonctionnent et repèrent un modèle instantanément, soit ils sont cassés et inutiles. La réalité ressemble davantage à une érosion. La surface est récurée, le grain sous-jacent demeure.

Deux laboratoires, deux directions

La phrase la plus citée de l’étude est une divergence entre fournisseurs. Druck a observé que les modèles Claude d’Anthropic se sont rapprochés des distributions de mots humaines standard au fil des générations. Les modèles GPT d’OpenAI, selon la même mesure, s’en sont éloignés.

À prendre avec les précautions qui s’imposent. C’est la métrique d’une seule entreprise, sur son propre ensemble de comparaison, mesurant sa propre définition de « humain ». Les distributions de fréquence des mots ne sont pas la vérité. Un modèle peut se situer exactement sur la moyenne humaine et produire quand même des phrases qu’aucune personne n’écrirait, et un modèle peut s’écarter de la distribution tout en écrivant quelque chose de vraiment bon.

Cela dit, la direction mérite d’être notée, car elle correspond à une différence que l’on ressent. Certains modèles se lisent comme un écrivain soigneux à qui l’on a dit d’éviter les clichés. D’autres se lisent comme un assistant très sûr de lui qui a absorbé un style maison et ne veut plus s’en défaire.

Pourquoi les signes révélateurs au niveau des expressions comptent plus que ceux au niveau des phrases

La plupart des gens ont découvert la détection de l’IA à travers des indices dans des phrases entières. L’ouverture qui plante le décor. Le résumé bien propre à la fin. La liste en trois parties qui arrive, que le contenu ait trois parties ou non.

Les modèles sont devenus meilleurs pour ne pas faire ces choses, du moins quand on le leur demande gentiment. Ce qui est plus difficile à poncer, c’est le tissu conjonctif. La manière dont un paragraphe est cousu au suivant. Le réflexe d’équilibre, où chaque affirmation reçoit un contrepoids assorti, que les preuves le soutiennent ou non. La préférence pour le nom abstrait plutôt que pour le nom précis.

Ces traits survivent aux instructions de réécriture parce que ce ne sont pas des règles que le modèle suit consciemment. C’est la forme de la distribution à partir de laquelle il a appris. Vous pouvez dire à un modèle d’arrêter d’utiliser un mot. Il est bien plus difficile de lui dire d’arrêter de penser selon un rythme particulier.

La liste d’expressions fait aussi une remarque plus subtile sur les moyennes. Les signes révélateurs ne sont pas répartis uniformément. Un modèle peut utiliser une expression bien plus que les humains et une autre moins, selon un schéma qui n’apparaît que sur des milliers de comparaisons. Aucun lecteur humain ne remarque l’agrégat. Un lecteur remarque une phrase qui sonne faux, et sait rarement pourquoi. Cet écart entre ce que les statistiques peuvent voir et ce qu’une personne peut formuler est précisément pourquoi la détection est difficile à bien faire à l’œil.

Le marché de la détection que cela alimente

Une liste comme celle-ci a une conséquence commerciale évidente. Toute entreprise qui vend de la détection d’IA dispose désormais d’un ensemble frais et concret de caractéristiques sur lesquelles entraîner ses modèles, et toute entreprise qui vend de l’écriture IA dispose désormais d’une nouvelle liste d’habitudes à éviter.

C’est la course aux armements en miniature. Les entreprises de détection exploitent des schémas, les entreprises d’écriture les font disparaître à l’entraînement, et le catalogue se déplace. La question intéressante n’est pas de savoir si la prochaine version d’un détecteur peut attraper la version actuelle d’un modèle. C’est ce qui arrive à la confiance quand les deux camps deviennent assez bons pour qu’aucun ne puisse être sûr.

Pour un lecteur, l’effet pratique est la lente disparition d’un raccourci qui n’a de toute façon jamais été fiable. Le style a toujours été un signal faible. Les plagiaires ont écrit de leur propre voix pendant des siècles, et les écrivains honnêtes ont toujours emprunté des expressions. Le nouveau catalogue rend simplement ce signal faible mesurable.

Ce que cela signifie si vous publiez

Pour un écrivain, l’étude se lit moins comme une menace que comme un miroir. Si 13 000 expressions penchent vers la prose machine, alors un brouillon qui s’appuie sur ces expressions se lira comme de la prose machine, quelles que soient la qualité des idées. La solution n’est pas un détecteur. La solution, ce sont les détails précis.

L’écriture machine revient par défaut au général parce que le général est toujours sûr. L’écriture humaine est pleine de particulier : le nom de la rue, le nombre qui ne s’arrondit pas, le détail que seul quelqu’un qui était là pourrait connaître. Ce sont les parties qu’aucun nettoyage d’expressions ne peut falsifier, parce qu’elles n’ont jamais été dans les données d’entraînement au départ.

Pour un éditeur, la leçon pratique est l’inverse de l’automatisation. Les signes révélateurs sont désormais assez subtils pour qu’un simple coup d’œil ne les repère pas. Il faut lire pour le rythme et pour l’absence de détails précis, pas pour le tiret cadratin révélateur que tout le monde a déjà appris à chercher. La correction la plus fiable ne consiste pas à supprimer les tics évidents. Elle consiste à ajouter le genre de détail concret qu’un modèle n’aurait pas inventé, ce qui sert le lecteur et se trouve déjouer le classificateur en même temps.

La course aux armements que personne ne gagne proprement

Il existe une version de cette histoire où la détection est résolue. Un classificateur entraîné sur suffisamment de ces schémas d’expressions signale le texte IA avec une grande précision, et tout le monde se remet à faire confiance à ce qu’il lit.

Cette version a un problème. Dès qu’un détecteur est publié, il devient un signal d’entraînement. Le modèle suivant est entraîné à éviter tout ce sur quoi le détecteur se base, et le catalogue se déplace encore. Les 13 000 expressions de Graphite sont un instantané, pas un règlement définitif.

Ce qui reste, c’est une lente redéfinition de ce que signifie « se lire comme une personne ». Chaque génération de modèles relève le niveau plancher de la compétence générique, et chaque génération rend les marqueurs humains restants un peu plus distinctifs par comparaison. Les signes révélateurs ne disparaissent pas. Ils migrent vers des gestes de plus en plus petits, jusqu’à ce que le seul signal fiable qui reste soit celui qui a toujours été fiable : que l’écriture sache quelque chose que le lecteur ne savait pas, et le dise simplement.

Une liste d’expressions ne peut pas mesurer cela. Un classificateur non plus, jusqu’à présent. C’est la part de l’écriture qui résiste au catalogage, et c’est peut-être celle qui finira par compter le plus.