Riesci ancora a distinguere un'immagine AI da una foto reale? La corsa agli armamenti del rilevamento sta diventando scomoda

Un piccolo gioco web chiamato "Riesci a capire quali immagini sono generate dall'AI?" ha raggiunto la prima pagina di Hacker News questo mese con 112 punti e 85 commenti. La premessa è semplice: ti viene mostrata una serie di immagini e devi indovinare se sono reali o generate. I commenti convergevano sulla stessa confessione. Le persone che lavorano con le immagini per professione ottenevano punteggi appena migliori del lancio di una moneta.

Pochi giorni dopo, un'altra discussione su HN presentava Pangram, una startup che vende rilevamento AI sia per testo che per immagini, con una discussione da 27 commenti sulla possibilità che il rilevamento possa funzionare affatto. Tra le due discussioni si colloca lo stato scomodo del settore: distinguere le immagini generate da quelle reali sta diventando più difficile più rapidamente di quanto il rilevamento stia migliorando.

Perché i tuoi occhi continuano a perdere

Gli indizi che un tempo funzionavano sono spariti o quasi. Mani pasticciate, testo deformato, illuminazione incoerente, pelle cerosa: ogni correzione è arrivata nelle generazioni successive di modelli. Il rendering del testo, a lungo il segnale rivelatore affidabile, ora è un problema risolto nei modelli leader, ed è in parte per questo che i benchmark sulle immagini hanno iniziato a pesarlo così tanto. Ciò che resta è un divario più sottile. Le immagini generate sono spesso leggermente troppo coerenti, le texture un po' troppo uniformi, gli sfondi un po' troppo accomodanti. Gli esseri umani percepiscono l'atmosfera e non riescono ad articolarla, ed è esattamente per questo che un gioco di indovinelli mette tutti in imbarazzo.

La questione Loki dimostra il punto in un registro diverso. Un post su r/StableDiffusion chiedeva come le persone producano immagini AI che preservano così precisamente l'aspetto di un attore specifico in nuovi abiti e scene. La risposta, da chi lo fa, è la generazione basata su riferimenti e adapter fine-tuned, nessuno dei quali richiede più strumenti esotici. Somiglianze che anni fa avrebbero richiesto uno studio di VFX ora sono un progetto pomeridiano, e la persona che chiedeva non riusciva a distinguere quali delle immagini che inondavano il suo feed fossero output del modello.

Il rilevamento come prodotto, il rilevamento come politica

La proposta di Pangram è che il rilevamento sia affrontabile quando si addestrano i rilevatori con la stessa aggressività dei generatori. La discussione su HN ha ribattuto con le obiezioni standard e in gran parte corrette: i rilevatori generalizzano male a modelli mai visti, producono falsi positivi che danneggiano fotografi reali, e qualsiasi rilevatore pubblicato diventa un bersaglio che il rilascio del modello successivo sconfigge silenziosamente. C'è anche l'approccio della provenienza, credenziali di contenuto in stile C2PA, che aggira il rilevamento chiedendo a fotocamere e generatori di firmare i propri output. Aiuta quando tutti collaborano. Non fa nulla per l'immagine che qualcuno ha ricodificato e spogliato.

La politica si muove comunque. I ristoranti che usano fotografia alimentare AI sono diventati una piccola notizia questo mese tramite un articolo del Wall Street Journal, e la reazione negativa riguardava meno l'inganno in astratto e più il tradimento specifico: l'hamburger che ordini dovrebbe somigliare all'hamburger nella pubblicità. Questo è un meccanismo di rilevamento sociale, fiducia basata sul crowdsourcing, ed è più severo di qualsiasi classificatore.

Cosa hanno dibattuto davvero i thread su HN

Le due discussioni su Hacker News hanno diviso nettamente il problema. Il thread del gioco era per lo più gente che riportava punteggi e si scambiava consigli, e i consigli sono un discreto registro fossile di ciò che funzionava una volta: guarda le mani, controlla il testo, ispeziona i riflessi, conta le dita dei pedoni sullo sfondo. Quasi tutti questi controlli ora restituiscono falsi negativi sui modelli attuali. Il rendering del testo in particolare ha smesso di essere un indizio affidabile una volta che i modelli leader ne hanno fatto una priorità nei benchmark; una vetrina generata con insegne leggibili era una novità due anni fa e ora è un comportamento predefinito.

Il thread su Pangram era più scettico. Le obiezioni nei commenti erano quelle standard, e reggono: i rilevatori addestrati sui generatori di ieri mancano quelli di domani, i falsi positivi colpiscono più duramente i fotografi reali il cui lavoro viene segnalato come sintetico, e la pubblicazione di un rilevatore è un invito aperto perché il modello successivo venga addestrato contro di esso. Un commento ha reso concreta l'asimmetria: un generatore deve solo ingannare i rilevatori che esistono, mentre un rilevatore deve catturare ogni generatore, compresi quelli non ancora rilasciati. È una corsa perdente per costruzione, ed è per questo che i prodotti commerciali di rilevamento vendono soprattutto a istituzioni con obblighi di moderazione, più che a individui incuriositi da un'immagine sospetta.

La provenienza, l'alternativa noiosa

L'alternativa che continua a emergere sono le credenziali di contenuto: metadati firmati crittograficamente, in stile C2PA, allegati al momento della cattura o della generazione. Le fotocamere firmano ciò che il sensore ha visto. I generatori firmano ciò che il modello ha creato. Gli strumenti di editing preservano o annotano la catena. Nulla di tutto ciò richiede di rilevare qualcosa, ed è il suo principale pregio, dato che il rilevamento è una corsa agli armamenti permanente e la firma è uno standard infrastrutturale.

Le debolezze sono altrettanto strutturali. La firma è volontaria, i metadati vengono rimossi da screenshot e ricodifiche, e la catena prova solo da dove proviene un'immagine, mai se l'originale fosse onesto. Un'immagine AI firmata è comunque un'immagine AI. Ma man mano che le piattaforme iniziano a mostrare le credenziali, la presenza di una catena pulita diventa un segnale di fiducia come lo è diventato HTTPS, e la sua assenza inizia a leggersi come una domanda a cui l'immagine non può rispondere.

Lo strato sociale è più severo di quello tecnico

Tra rilevamento e provenienza si colloca il meccanismo che ha davvero fatto il lavoro questo mese: le folle. La storia del ristorante si è diffusa perché i clienti hanno riconosciuto il divario tra il cibo fotografato e quello servito, non perché un classificatore l'ha segnalato. Le immagini dei nipoti dei boomer sono diventate una storia perché i genitori nella chat di gruppo hanno detto no. Le immagini di Loki hanno spinto un subreddit a chiedere come fossero state realizzate, e hanno ottenuto una risposta nel giro di un giorno. Le comunità rilevano nel modo in cui i rilevatori non possono, conoscendo il contesto.

Ciò suggerisce una divisione del lavoro da prendere sul serio. Le macchine se la cavano nello screening su larga scala, segnalando caricamenti in blocco per la revisione umana. Gli esseri umani sono bravi nel contesto, notando che l'hamburger nella pubblicità non ha briciole perché nessun hamburger ne ha. La provenienza è brava alla fonte, dove si trovano gli attori onesti. Nessun singolo strato cattura tutto, ed è esattamente per questo che il gioco che ha messo tutti in imbarazzo resta una calibrazione utile più che un verdetto.

Cosa significa per chi pubblica immagini

Se pubblichi o commissioni immagini, dallo stato attuale derivano tre abitudini. Primo, etichettare i contenuti generati sta diventando un asset di fiducia più che un'ammissione. I creator che dichiarano, e c'è una spaccatura visibile nei thread di r/StableDiffusion su come gestire i commenti anti-AI, stanno costruendo un pubblico che resta quando la divulgazione avviene fin dall'inizio. Secondo, i metadati di provenienza sono economici da conservare e occasionalmente decisivi; le piattaforme stanno iniziando a mostrarli, e il costo di preservarli è un interruttore nelle impostazioni. Terzo, per qualsiasi cosa in cui l'immagine faccia un'affermazione fattuale (notizie, prodotti, prove), presupponi che il tuo pubblico abbia un rilevatore da lancio di moneta e uno strumento per screenshot. L'unica difesa duratura è essere veritieri su ciò che l'immagine è.

Il gioco che ha messo tutti in imbarazzo vale comunque la pena di essere giocato. Dieci minuti contro un mazzo mescolato di immagini reali e generate ricalibrano la tua fiducia in una direzione utile. Le immagini su cui fallisci non erano fallimenti di attenzione. Sono il nuovo standard, e lo standard si sposta ogni mese.