Qualcuno ha catalogato 13.000 modi in cui la scrittura AI si tradisce

Uno studio della società di analisi della scrittura Graphite ha fatto qualcosa di utile per chi legge molta prosa generata dalle macchine: ha smesso di tirare a indovinare e ha iniziato a contare.

Il team ha preso 10.000 articoli pubblicati prima che ChatGPT esistesse, ha chiesto ai modelli AI di riscriverli e poi ha confrontato i due mucchi. Quello che è emerso è un elenco di circa 13.000 frasi che compaiono almeno due volte più spesso nelle versioni AI rispetto agli originali umani. Non intere frasi. Espressioni. Piccole abitudini linguistiche a cui un modello ricorre quando riempie lo spazio.

Gli indizi si sono spostati, non sono scomparsi

La parte ovvia di questa scoperta è il catalogo stesso. La parte più interessante è ciò che è successo mentre veniva messo insieme.

Greg Druck, chief AI officer di Graphite, ha affermato che la linea di tendenza corre in due direzioni contemporaneamente. I marcatori più vecchi e vistosi, come le lineette lunghe, sono stati ridotti con l'addestramento, perché gli sviluppatori li hanno notati e li hanno presi di mira. Ma quando un insieme di tic viene levigato via, un altro insieme cresce nel vuoto. Il catalogo non è diventato più corto nel tempo. È diventato meno familiare.

Questo è il nucleo scomodo della questione. Le persone continuano a trattare il rilevamento dell'AI come un problema risolto in un senso o nell'altro. O i rilevatori funzionano e individuano un modello all'istante, oppure sono rotti e inutili. La realtà assomiglia più a un'erosione. La superficie viene pulita, la venatura di fondo resta.

Due laboratori, due direzioni

La frase più citata dello studio è una divergenza tra fornitori. Druck ha osservato che i modelli Claude di Anthropic si sono avvicinati alle distribuzioni standard delle parole umane nel corso delle generazioni. I modelli GPT di OpenAI, secondo la stessa misura, si sono allontanati sempre di più.

Prendetelo con la cautela che merita. Questa è la metrica di una sola azienda, sul proprio insieme di confronto, che misura la propria definizione di "simile a un umano". Le distribuzioni della frequenza delle parole non sono la verità. Un modello può collocarsi esattamente sulla media umana e produrre comunque frasi che nessuna persona scriverebbe, e un modello può allontanarsi dalla distribuzione mentre scrive qualcosa di genuinamente buono.

Tuttavia, la direzione vale la pena di essere notata, perché corrisponde a una differenza che si può percepire. Alcuni modelli si leggono come uno scrittore attento a cui è stato detto di evitare i cliché. Altri si leggono come un assistente molto sicuro di sé che ha assorbito uno stile aziendale e non vuole abbandonarlo.

Perché gli indizi a livello di espressione contano più di quelli a livello di frase

La maggior parte delle persone ha conosciuto il rilevamento dell'AI attraverso rivelazioni date da intere frasi. L'apertura che prepara la scena. Il riassunto ordinato alla fine. L'elenco in tre parti che arriva che il contenuto abbia o meno tre parti.

I modelli sono diventati più bravi a non fare quelle cose, almeno quando viene chiesto gentilmente. Ciò che è più difficile da levigare è il tessuto connettivo. Il modo in cui un paragrafo viene cucito al successivo. La mossa riflessa verso l'equilibrio, in cui ogni affermazione riceve un contrappeso corrispondente, che le prove ne sostengano uno o no. La preferenza per il nome astratto rispetto a quello specifico.

Queste sopravvivono alle istruzioni di riscrittura perché non sono regole che il modello segue consapevolmente. Sono la forma della distribuzione da cui ha imparato. Puoi dire a un modello di smettere di usare una parola. È molto più difficile dirgli di smettere di pensare con un ritmo particolare.

L'elenco delle espressioni fa anche un punto più sottile sulle medie. Gli indizi non sono distribuiti in modo uniforme. Un modello può usare un'espressione molto più delle persone e un'altra meno, in uno schema che emerge solo attraverso migliaia di confronti. Nessun lettore umano nota l'aggregato. Un lettore nota una frase che suona stonata, e raramente sa perché. Quel divario tra ciò che le statistiche possono vedere e ciò che una persona riesce ad articolare è esattamente il motivo per cui il rilevamento è difficile da fare bene a occhio.

Il mercato del rilevamento che questo alimenta

C'è un'ovvia conseguenza commerciale in un elenco come questo. Qualsiasi azienda che vende rilevamento AI ora ha un insieme nuovo e concreto di caratteristiche su cui addestrare, e qualsiasi azienda che vende scrittura AI ora ha un nuovo elenco di abitudini da evitare.

Questa è la corsa agli armamenti in miniatura. Le aziende di rilevamento estraggono schemi, le aziende di scrittura li addestrano via, e il catalogo si sposta. La domanda interessante non è se la prossima versione di un rilevatore riuscirà a catturare la versione attuale di un modello. È cosa succede alla fiducia quando entrambe le parti diventano abbastanza brave che nessuna delle due può essere sicura.

Per un lettore, l'effetto pratico è una lenta perdita di una scorciatoia che comunque non ha mai funzionato in modo affidabile. Lo stile è sempre stato un segnale debole. I plagiari hanno scritto con la propria voce per secoli, e gli scrittori onesti hanno sempre preso in prestito delle espressioni. Il nuovo catalogo rende semplicemente misurabile il segnale debole.

Cosa significa se pubblichi

Per uno scrittore, lo studio si legge meno come una minaccia e più come uno specchio. Se 13.000 espressioni pendono verso la prosa delle macchine, allora una bozza che si appoggia a quelle espressioni verrà letta come prosa delle macchine, non importa quanto siano buone le idee. La soluzione non è un rilevatore. La soluzione sono i dettagli specifici.

La scrittura delle macchine ricade sul generico perché il generico è sempre sicuro. La scrittura umana è piena di particolari: il nome della strada, il numero che non è tondo, il dettaglio che solo qualcuno che era lì conoscerebbe. Queste sono le parti che nessuna pulizia di espressioni può falsificare, perché non sono mai state nei dati di addestramento fin dall'inizio.

Per un editor, la lezione pratica è l'opposto dell'automazione. Gli indizi ora sono abbastanza sottili che un'occhiata non li coglierà. Devi leggere per il ritmo e per l'assenza di dettagli specifici, non per la lineetta lunga rivelatrice che tutti hanno già imparato a cercare. La modifica più affidabile non è eliminare i tic evidenti. È aggiungere il tipo di dettaglio concreto che un modello non avrebbe inventato, che serve il lettore e riesce a sconfiggere il classificatore allo stesso tempo.

La corsa agli armamenti che nessuno vince in modo pulito

C'è una versione di questa storia in cui il rilevamento viene risolto. Un classificatore addestrato su abbastanza di questi schemi di espressioni segnala il testo AI con elevata accuratezza, e tutti tornano a fidarsi di ciò che leggono.

Quella versione ha un problema. Nel momento in cui un rilevatore viene pubblicato, diventa segnale di addestramento. Il modello successivo viene addestrato a evitare qualunque cosa su cui il rilevatore si basi, e il catalogo si sposta di nuovo. Le 13.000 espressioni di Graphite sono un'istantanea, non un punto d'arrivo.

Quello che resta è una lenta ridefinizione di cosa significa "si legge come una persona". Ogni generazione di modelli alza il livello minimo di competenza generica, e ogni generazione rende i marcatori umani rimanenti un po' più distintivi per confronto. Gli indizi non svaniscono. Migrano in gesti sempre più piccoli, finché l'unico segnale affidabile rimasto è quello che è sempre stato affidabile: se la scrittura sa qualcosa che il lettore non sapeva, e lo dice chiaramente.

Un elenco di espressioni non può misurarlo. E nemmeno, finora, un classificatore. È la parte della scrittura che resiste all'essere catalogata, e potrebbe essere la parte che finisce per contare di più.