L'app di lettura dove ora tutti sospettano che le recensioni siano scritte da un'IA

WeChat Reading è la più grande app di libri in Cina, e la sua funzione più caratteristica non sta dentro i libri ma accanto. È lo strato di evidenziazioni e commenti che scorre lungo il testo, una striscia stretta a margine dove si accalcano le grafie di perfetti sconosciuti. Leggi un romanzo e qualche migliaio di persone ti guardano sopra la spalla, si fermano su una frase e ci incollano la loro reazione.
Per anni quello strato è stato la parte migliore dell'app. Qualcuno aveva evidenziato al posto tuo la frase che non riuscivi a formulare, qualcuno sotto una battuta ne aveva messa una più cattiva. Questo mese è diventato il luogo della lite.
L'innesco è minuscolo. Una lettrice consiglia un romanzo di Agatha Christie a un'amica, e l'amica torna con questo resoconto: l'app le aveva mostrato il finale prima del primo capitolo, perché lo strato dei commenti faceva emergere la discussione sulla trama già mentre si entra nel testo. Quella lamentela, pubblicata l'11 novembre, è stata condivisa parecchio, ed è la meno interessante fra tutte quelle che circolano. Lo spoiler è un problema che un prodotto può correggere. Quello che viene dopo, no.
L'accusa corre nei due sensi
Il giorno prima un altro post sosteneva il contrario: lo strato dei commenti si era riempito di recensioni che sembravano scritte da un modello. Aperture standardizzate, struttura in tre parti ben ordinata, prima l'impressione, poi il contesto, infine la sintesi, e nel paragrafo finale una svolta emotiva che non risolve nulla. E poi la parte che brucia: i lettori che scrivono con cura vengono accusati di essere un'IA. Indicati per nome da sconosciuti perché le frasi sono scorrevoli, la punteggiatura è corretta e i paragrafi hanno un ordine.
Questa è la nuova dinamica sociale. Quando in uno spazio c'è abbastanza testo generato, l'onere della prova si sposta sugli umani. Lo stile diventa una prova. Un paragrafo ben organizzato è sospetto. Un riassunto pulito è un indizio. Siamo a mezzo passo da un'epoca in cui bisogna lasciare due errori di battitura per sembrare una persona.
In uno spazio costruito sull'idea che un commento sia qualcuno che pensa ad alta voce, il danno è molto concreto. Il valore dello strato veniva dal fatto che qualcuno si era preso il disturbo. Se quel disturbo si può falsificare su larga scala, l'unico segnale che resta è quanto costa scrivere a chi scrive, e quel costo non si vede in uno screenshot. In una bella frase non c'è modo di leggere se ci sono voluti tre minuti o tre ore.

Le metriche hanno peggiorato tutto
WeChat Reading non si limita a mostrare commenti. Calcola un punteggio di raccomandazione e tiene una classifica dei libri più apprezzati. Una recensione con un punteggio alto può spingere un libro in quella classifica, e la classifica rimanda la gente al libro. In agosto una recensione di 973 caratteri avrebbe raggiunto un valore di raccomandazione superiore al 92%, il che ha messo il libro davanti a molti più lettori. Il numero è bello, il meccanismo è chiaro.
Una metrica così crea un incentivo che con la lettura non c'entra nulla. Se una recensione ben strutturata, emotivamente appagante e leggermente vaga ottiene un buon punteggio, allora produrre recensioni ben strutturate, emotivamente appaganti e leggermente vaghe diventa una strategia razionale, che la esegua una persona o uno script. Il risultato di quella strategia è indistinguibile da ciò che i lettori chiamano oggi sapore di IA, perché entrambi sono cresciuti sotto gli stessi vincoli.
L'app ha anche lanciato una funzione di IA a maggio, presentata dall'azienda come un assistente per i lettori, in grado di riassumere, rispondere a domande e conversare. L'esistenza di quella funzione è il contesto del problema, non la causa: dà a ogni accusa un meccanismo plausibile. Non serve dimostrare che una recensione è stata generata, basta osservare che avrebbe potuto esserlo.
Questa asimmetria rende il dibattito irrisolvibile. Chi sospetta di una recensione può indicare l'assistente dell'app stessa. Chi viene accusato di essere una macchina non ha niente da indicare, perché in una casella di testo non c'è prova di paternità. Da una parte uno strumento, dall'altra solo un tono. La discussione non può che peggiorare.
E poi c'è l'autore
A ottobre una lettrice ha dato a un libro un voto medio e ha ricevuto un messaggio privato dall'autore che chiedeva di cambiarlo. Lo screenshot ha raccolto più di 1.700 like e diverse centinaia di commenti, e la reazione riguardava soprattutto la richiesta, non il voto. Che gli autori comincino a sorvegliare lo strato dei commenti è il dato che vale la pena annotare.
Mettendo in fila le tre storie, emerge uno schema. Lo strato dei commenti è stato progettato come spazio sociale, misurato come metrica di prodotto e ora viene sorvegliato come un forum pubblico. Ognuna di queste cornici implica una soluzione diversa, e l'app continua a scegliere la terza mentre funziona con la seconda. Un luogo che deve essere salotto, scaffale e piazza insieme finisce per non essere bene nessuno dei tre.
Che cosa chiedono davvero i lettori
Leggete le lamentele da vicino e la richiesta è molto più stretta di togliere l'IA. Più o meno questa: non mostrarmi le reazioni degli altri prima che io abbia avuto la mia, e se ordini quelle reazioni, dimmi a cosa serve l'ordine. Nessuna delle due cose riguarda il rilevamento. Entrambe riguardano che cosa si mette sullo schermo, e quando.
Il problema dello spoiler ha una soluzione pulita: un filtro di avanzamento di lettura che nasconde i commenti oltre la pagina in cui sei. Alcune app lo fanno già, ed è quasi troppo semplice da nominare. Il costo è un interruttore e un modello di dati, e il modello di dati è la parte difficile. L'app deve sapere dove si trova ogni lettore in ogni libro, e poi decidere che cosa un commento ancorato a pagina 240 può rivelare a chi è a pagina 30. La stessa frase, due permessi.
WeChat Reading quella posizione la segue già, perché sincronizza i progressi fra dispositivi. L'informazione c'è. Manca una regola su chi può vedere che cosa, e regole del genere sono politiche dentro un team di prodotto, perché abbassano il coinvolgimento proprio sulle schermate dove il coinvolgimento si misura. Nascondere metà di una pagina di commenti fa scendere i numeri.
Il problema dell'IA non ha una soluzione pulita. Il rilevamento non è affidabile, l'accusa costa poco e il prezzo di un falso positivo ricade interamente su chi viene accusato. Una piattaforma che comincia a etichettare le recensioni come generate passerà l'anno successivo a discutere delle etichette, e ogni discussione le toglie un po' di credibilità.
L'opzione più interessante è smettere del tutto di ordinare le recensioni. Un punteggio di raccomandazione trasforma una conversazione in una classifica, e le classifiche premiano esattamente le qualità che fanno sembrare un testo generato. Uno spazio ordinato solo per data, o per quante persone hanno evidenziato la stessa frase, sarebbe peggiore nel far emergere la recensione migliore e molto più difficile da manipolare. Non spingerebbe nemmeno chi scrive a imitare lo stesso tono.
La versione scomoda
Esiste una versione di questa storia in cui non è stato generato nulla e tutto il panico riguarda uno stile. La scrittura di recensioni librarie in cinese ha le sue convenzioni, ereditate dalla carta stampata, e quelle convenzioni si sovrappongono proprio a ciò che oggi si riconosce come prosa da modello: la struttura simmetrica, la conclusione linda, il colpo emotivo messo alla fine, l'ultima frase che chiude bene.
Se è andata così, la lezione è peggiore di quella sull'IA. Vorrebbe dire che lo stile di casa della critica online aveva già una forma di macchina, e che i modelli l'hanno imparato da noi, non il contrario. I lettori stanno riconoscendo un genere, e quel genere da dieci anni diventa più meccanico, anche senza grandi modelli di linguaggio.
In un caso o nell'altro, lo strato dei commenti è ora un posto dove i lettori si scrutano a vicenda in cerca di tic. È una cosa strana da aver costruito accanto a una biblioteca. I libri non sono cambiati. Il margine sì.
Articoli correlati
Nvidia finanzia i suoi clienti, e lo chiama ecosistema
Nvidia ha messo oltre 99 miliardi nelle aziende che le comprano l'hardware. L'anello funziona finché qualcuno non chiede cosa succede al bordo.
Il 74% di margine ha una data di scadenza
Un punto di margine vale 3 miliardi l'anno. Nvidia ne sta perdendo tre, e la spiegazione dice più sulla sua strategia di quanto dica il beat sui ricavi.
175.000 firme non lo riportano indietro
Migliaia di dipendenti e due fondi chiedono il ritorno di Huang. Il consiglio ha un'indagine aperta e un calendario: ogni mese che passa toglie forza alla richiesta.
La regola sull'export controlla il cliente, non il chip
Cinque paesi, una licenza e una clausola che vale ovunque: la nuova regola americana sposta il controllo dal chip al cliente che lo usa.