Jemand hat 13.000 Arten katalogisiert, wie KI-Texte sich verraten

Eine Studie des Textanalyse-Unternehmens Graphite hat etwas Nützliches für alle getan, die viel maschinell erzeugte Prosa lesen: Sie hat aufgehört zu raten und angefangen zu zählen.

Das Team nahm 10.000 Artikel, die vor der Existenz von ChatGPT veröffentlicht wurden, ließ sie von KI-Modellen neu schreiben und verglich dann die beiden Stapel. Heraus kam eine Liste von rund 13.000 Phrasen, die in den KI-Versionen mindestens doppelt so häufig auftauchen wie in den menschlichen Originalen. Keine ganzen Sätze. Phrasen. Kleine gewohnheitsmäßige Wendungen, zu denen ein Modell greift, wenn es Platz füllen muss.

Die verräterischen Merkmale haben sich verschoben, sie sind nicht verschwunden

Das Offensichtliche an diesem Befund ist der Katalog selbst. Der interessantere Teil ist, was geschah, während er zusammengestellt wurde.

Greg Druck, Chief AI Officer von Graphite, sagte, die Trendlinie verlaufe in zwei Richtungen zugleich. Ältere, auffälligere Marker wie der Gedankenstrich wurden wegoptimiert, weil Entwickler sie bemerkten und gezielt bekämpften. Doch wenn ein Satz von Tics weggeglättet wird, wächst ein anderer in die Lücke. Der Katalog wurde mit der Zeit nicht kürzer, sondern weniger vertraut.

Das ist der unbehagliche Kern der Sache. Die Leute behandeln die KI-Erkennung weiterhin als gelöstes Problem – in die eine oder andere Richtung. Entweder funktionieren die Detektoren und erkennen ein Modell sofort, oder sie sind kaputt und nutzlos. Die Realität gleicht eher einer Erosion. Die Oberfläche wird abgeschrubbt, die darunterliegende Maserung bleibt.

Zwei Labore, zwei Richtungen

Die meistzitierte Aussage der Studie ist eine Spaltung zwischen Anbietern. Druck beobachtete, dass sich die Claude-Modelle von Anthropic über die Generationen hinweg den üblichen menschlichen Wortverteilungen angenähert haben. Die GPT-Modelle von OpenAI haben sich nach demselben Maßstab weiter davon entfernt.

Das sollte man mit der gebotenen Vorsicht aufnehmen. Es ist die Kennzahl eines einzelnen Unternehmens, auf dessen eigenem Vergleichsset, nach dessen eigener Definition von „menschlich“. Wortfrequenzverteilungen sind keine Wahrheit. Ein Modell kann genau auf dem menschlichen Durchschnitt sitzen und trotzdem Sätze produzieren, die kein Mensch schreiben würde, und ein Modell kann von der Verteilung abweichen und dabei etwas wirklich Gutes schreiben.

Trotzdem lohnt es sich, die Richtung zu bemerken, denn sie deckt sich mit einem Unterschied, den man spüren kann. Manche Modelle lesen sich wie ein sorgfältiger Autor, dem man gesagt hat, er solle Klischees vermeiden. Andere lesen sich wie ein sehr selbstsicherer Assistent, der einen Hausstil aufgesogen hat und ihn nicht mehr loslässt.

Warum Verräter auf Phrasenebene mehr zählen als auf Satzebene

Die meisten Menschen begegneten der KI-Erkennung über Verräter in ganzen Sätzen. Der einleitende Satz, der die Bühne bereitet. Die ordentliche Zusammenfassung am Ende. Die dreiteilige Liste, die kommt, ob der Inhalt nun drei Teile hat oder nicht.

Die Modelle wurden besser darin, diese Dinge zu unterlassen – zumindest, wenn man freundlich darum bittet. Schwerer abzuschleifen ist das Bindegewebe. Die Art, wie ein Absatz an den nächsten genäht wird. Der reflexhafte Griff zur Balance, bei dem jede Behauptung ein passendes Gegengewicht bekommt, ob die Belege eines stützen oder nicht. Die Vorliebe für das abstrakte Substantiv gegenüber dem konkreten.

Diese Dinge überstehen Umschreibungsanweisungen, weil sie keine Regeln sind, denen das Modell bewusst folgt. Sie sind die Form der Verteilung, aus der es gelernt hat. Man kann einem Modell sagen, es solle ein Wort nicht mehr verwenden. Viel schwerer ist es, ihm zu sagen, es solle aufhören, in einem bestimmten Rhythmus zu denken.

Die Phrasenliste macht außerdem einen subtileren Punkt über Durchschnitte. Verräter sind nicht gleichmäßig verteilt. Ein Modell verwendet vielleicht eine Phrase weit häufiger als Menschen und eine andere seltener, in einem Muster, das erst über Tausende Vergleiche sichtbar wird. Kein menschlicher Leser bemerkt die Summe. Ein Leser bemerkt einen Satz, der sich falsch anfühlt, und weiß selten, warum. Genau diese Lücke zwischen dem, was Statistik sehen kann, und dem, was ein Mensch in Worte fassen kann, macht die Erkennung mit bloßem Auge so schwierig.

Der Erkennungsmarkt, den das befeuert

Eine solche Liste hat eine offensichtliche kommerzielle Folge. Jedes Unternehmen, das KI-Erkennung verkauft, hat nun einen frischen, konkreten Satz von Merkmalen zum Trainieren, und jedes Unternehmen, das KI-Schreibwerkzeuge verkauft, hat nun eine frische Liste von Gewohnheiten, die es vermeiden sollte.

Das ist das Wettrüsten im Kleinen. Erkennungsfirmen schürfen Muster, Schreibfirmen trainieren sie weg, und der Katalog verschiebt sich. Die interessante Frage ist nicht, ob die nächste Version eines Detektors die aktuelle Version eines Modells erwischen kann. Sondern was mit dem Vertrauen geschieht, wenn beide Seiten so gut werden, dass keine sich sicher sein kann.

Für Leser bedeutet das praktisch den langsamen Verlust einer Abkürzung, die ohnehin nie zuverlässig funktioniert hat. Stil war immer ein schwaches Signal. Plagiatoren schrieben jahrhundertelang mit eigener Stimme, und ehrliche Autoren haben sich schon immer Phrasen geborgt. Der neue Katalog macht das schwache Signal nur messbar.

Was das bedeutet, wenn Sie veröffentlichen

Für Schreibende liest sich die Studie weniger wie eine Drohung und mehr wie ein Spiegel. Wenn 13.000 Phrasen in Richtung Maschinenprosa neigen, dann liest sich ein Entwurf, der sich auf diese Phrasen stützt, wie Maschinenprosa – egal, wie gut die Ideen sind. Die Lösung ist kein Detektor. Die Lösung sind konkrete Details.

Maschinelles Schreiben greift standardmäßig zum Allgemeinen, weil das Allgemeine immer sicher ist. Menschliches Schreiben ist voller Besonderheiten: der Name der Straße, die Zahl, die sich nicht rundet, das Detail, das nur jemand kennen würde, der dabei war. Das sind die Teile, die sich durch kein noch so gründliches Phrasen-Abschleifen fälschen lassen, weil sie von Anfang an nie in den Trainingsdaten waren.

Für Lektorierende ist die praktische Lehre das Gegenteil von Automatisierung. Die Verräter sind inzwischen so subtil, dass ein flüchtiger Blick sie nicht erfasst. Man muss auf Rhythmus lesen und auf das Fehlen von Konkretem, nicht auf den verräterischen Gedankenstrich, nach dem alle bereits gelernt haben zu suchen. Die zuverlässigste Bearbeitung ist nicht, die offensichtlichen Tics zu löschen. Sie besteht darin, jene Art konkreten Details hinzuzufügen, die ein Modell nicht erfunden hätte – was den Lesenden dient und nebenbei den Klassifikator schlägt.

Das Wettrüsten, das niemand sauber gewinnt

Es gibt eine Version dieser Geschichte, in der die Erkennung gelöst wird. Ein Klassifikator, der auf genügend dieser Phrasenmuster trainiert wurde, markiert KI-Text mit hoher Treffsicherheit, und alle vertrauen wieder dem, was sie lesen.

Diese Version hat ein Problem. In dem Moment, in dem ein Detektor veröffentlicht wird, wird er zum Trainingssignal. Das nächste Modell wird darauf trainiert, alles zu vermeiden, worauf der Detektor anspringt, und der Katalog verschiebt sich erneut. Graphites 13.000 Phrasen sind eine Momentaufnahme, keine endgültige Regelung.

Was bleibt, ist eine langsame Neudefinition dessen, was „sich wie ein Mensch liest“ bedeutet. Jede Modellgeneration hebt das Niveau generischer Kompetenz an, und jede Generation macht die verbleibenden menschlichen Marker im Vergleich etwas unverwechselbarer. Die Verräter verschwinden nicht. Sie wandern in immer kleinere Gesten, bis das einzige verlässliche Signal das ist, das immer verlässlich war: ob das Geschriebene etwas weiß, das die Lesenden nicht wussten, und es klar sagt.

Eine Phrasenliste kann das nicht messen. Bislang auch kein Klassifikator. Es ist der Teil des Schreibens, der sich dem Katalogisieren widersetzt – und vielleicht der Teil, der am Ende am meisten zählt.