Il pasticcio della generazione di immagini di Grok sta riscrivendo le regole per tutti gli altri

Per alcuni giorni questo mese, la storia più importante nella generazione di immagini AI non è stata un nuovo modello. È stato un chatbot su X che sfornava milioni di immagini che non avrebbero mai dovuto esistere, e i regolatori che alla fine ne hanno avuto abbastanza.

Grok, l'assistente di xAI integrato nella piattaforma, ha lanciato la generazione di immagini con protezioni insolitamente blande. Gli utenti hanno scoperto di poter chiedere di modificare foto di persone reali, rimuovendo i vestiti o collocandole in scene sessualizzate senza consenso. Lo strumento ha obbedito, e lo ha fatto a una scala che ha colto di sorpresa persino chi osserva questo settore per professione. Nel giro di pochi giorni, i ricercatori del Center for Countering Digital Hate hanno stimato che erano state prodotte milioni di immagini sessualizzate, una parte delle quali ritraevano minori. L'Internet Watch Foundation ha dichiarato che i suoi analisti hanno trovato immagini criminali di bambini di età compresa tra 11 e 13 anni che sembravano provenire da Grok. Un'organizzazione no-profit con sede a Parigi, AI Forensics, ha contato circa ottocento immagini e video dall'app Grok Imagine contenenti contenuti pornografici e sessualmente violenti, alcuni dei quali, secondo un ricercatore, indistinguibili da materiale prodotto professionalmente.

Il meccanismo dietro tutto questo non era un qualche elaborato jailbreak. È stata una scelta di progettazione. Grok ha integrato un generatore di immagini basato su Flux con un'impalcatura di sicurezza minima, per poi aprirlo a milioni di utenti non verificati su X. Gli utenti potevano taggare Grok direttamente in post e risposte e chiedergli di modificare un'immagine caricata. Le donne hanno riferito che estranei usavano lo strumento per spogliarle digitalmente e ripubblicare i risultati, lasciandole, nelle loro stesse parole, umiliate e disumanizzate. Alcune di quelle donne hanno visto accadere tutto in tempo reale mentre le loro foto circolavano.

La risposta dei governi è stata rapida e insolitamente specifica. L'Information Commissioner's Office del Regno Unito ha aperto un'indagine per stabilire se X e xAI abbiano violato la legge sulla protezione dei dati consentendo che le sembianze delle persone fossero trasformate in media sintetici intimi. La Data Protection Commission irlandese l'ha esaminata attraverso il GDPR, inquadrando i deepfake non consensuali come trattamento illegale di dati biometrici. Il procuratore generale della California ha avviato una propria indagine. Il primo ministro Keir Starmer ha definito i contenuti "vergognosi" e "disgustosi" e ha detto al regolatore Ofcom che aveva il suo pieno sostegno, fino a includere un divieto effettivo, una mossa che ai sensi dell'Online Safety Act potrebbe comportare multe fino al dieci percento del fatturato globale di un'azienda.

La risposta di xAI è stata limitare la modifica delle immagini a un abbonamento a pagamento. Gli utenti paganti ora hanno nome e dettagli di pagamento registrati quando generano, ragiona l'azienda, il che scoraggia gli abusi. I critici l'hanno definito un cerotto. Clare McGlynn, professoressa che studia la regolamentazione legale degli abusi online, l'ha detto chiaramente: invece di correggere lo strumento affinché non potesse essere usato in questo modo, X l'ha ritirato dalla maggior parte delle persone. Hannah Swirsky, responsabile delle politiche dell'Internet Watch Foundation, ha affermato che la restrizione "non annulla il danno che è stato fatto" e ha sostenuto che uno strumento con questa capacità non sarebbe mai dovuto esistere fin dall'inizio.

Ciò che rende questo episodio rilevante al di là di una singola azienda è l'argomentazione che ha risolto, o quasi risolto, sulla responsabilità. Per due anni il settore ha trattato i generatori di immagini AI come strumenti neutri, come una fotocamera o una fotocopiatrice. La persona che ne abusava era il problema. Grok ha spinto i regolatori oltre quella impostazione. Quando un modello è progettato in modo da rendere l'abuso banale, e distribuito a milioni di utenti con filtri facili da aggirare, lo sviluppatore inizia a sembrare la parte responsabile, non solo la persona che tiene il prompt.

C'è una dimensione tecnica qui che la conversazione sulla sicurezza spesso salta. I resoconti su Grok hanno ripetutamente sottolineato che xAI si affidava a filtri post-generazione, uno strato che controlla l'output a posteriori, invece di integrare la sicurezza nel modello durante l'addestramento. È la differenza tra una porta con una guardia in piedi dietro e una porta che non può aprirsi su certe stanze. Una volta che l'immagine esiste, il filtro può fallire, il file può diffondersi e il danno è già avvenuto. Gli investigatori indipendenti hanno scoperto che anche dopo che xAI aveva promesso correzioni, i filtri restavano facili da aggirare, il che è il segno rivelatore di un modello non allineato con la sicurezza aggiunta a posteriori anziché integrata.

Il settore si è diviso esattamente lungo questa linea. OpenAI, Anthropic e Google incorporano vincoli nei loro modelli durante l'addestramento e si stanno muovendo verso la provenienza dei contenuti C2PA, un modo crittografico per contrassegnare ciò che è generato dall'AI e tracciarne l'origine. La pipeline di xAI generava prima e moderava dopo. La reazione normativa suggerisce che il secondo approccio ora comporta un vero rischio legale, e il rischio non è ipotetico. Le cause legali sono già in corso. Un caso federale nel distretto settentrionale della California accusa xAI di aver usato immagini vecchie di decenni di una vittima di abusi su minori per generare nuovo materiale abusivo, chiedendo danni ai sensi del Masha Act, che consente alle vittime di recuperare almeno 150.000 dollari per violazione. Una class action separata intentata da adolescenti del Tennessee si è ampliata fino a includere Stability AI, l'azienda produttrice del modello di immagini, come convenuta.

Quell'esposizione legale è la parte che dovrebbe preoccupare ogni laboratorio, non solo xAI. Se un tribunale tratta ogni immagine generata come una violazione separata, il calcolo della responsabilità diventa enorme, e non importa che il modello stesso non fosse l'abusante. Le scelte di progettazione che hanno reso facile l'abuso diventano la base per ritenere l'azienda responsabile. Una "modalità piccante", o qualsiasi funzionalità commercializzata per superare i limiti, smette di essere un argomento di vendita e inizia a essere una prova.

Per chiunque costruisca o scelga uno strumento di immagini, le lezioni pratiche sono concrete. Osserva come il modello gestisce richieste che prendono di mira una persona reale e identificabile. Chiedi se la sicurezza risiede nel modello o in un filtro aggiunto dopo. Verifica se gli output contengono metadati di provenienza. Guarda quanto rapidamente un'azienda può rimuovere contenuti dannosi una volta che si diffondono, e se esiste un vero percorso di segnalazione. Queste domande hanno smesso di essere accademiche questo mese, e ora sono la differenza tra un prodotto difendibile e uno che è una passività.

La conseguenza più ampia è che i regolatori hanno trovato un modello. La via del GDPR, che tratta le sembianze di una persona come dati biometrici, offre alle autorità europee una leva che prima non avevano. L'Online Safety Act dà al Regno Unito un meccanismo per bloccare davvero una piattaforma. I procuratori generali statali negli Stati Uniti hanno dimostrato che si muoveranno. Ognuno di questi è un precedente che può essere applicato alla prossima azienda che lancia una funzionalità di immagini senza riflettere sugli abusi.

Niente di tutto ciò uccide la generazione di immagini come tecnologia. Restringe ciò che "rilasciare velocemente" può significare. La prossima volta che un laboratorio annuncia una funzionalità di immagini con salvaguardie minime e un ammiccamento alla libertà di parola, l'episodio Grok sarà il caso di studio a cui regolatori e querelanti faranno ricorso. Sarà anche il punto di riferimento per le aziende che hanno fatto il lavoro accurato, quelle che hanno integrato la sicurezza fin dall'inizio e che ora possono indicare un track record invece di uno scandalo. Questo è un vero cambiamento, ed è avvenuto nel giro di pochi giorni.