Google ha aperto SynthID Detector a tutti. Leggi le clausole in piccolo.

Google ha aperto al pubblico il suo SynthID Detector il 7 ottobre, permettendo a chiunque di controllare un'immagine, un video o un file audio per verificare la presenza di un watermark AI nascosto. Il portale su synthid.com è attivo a livello globale in inglese. Accedi con un account Google, OpenAI o Apple e carica un file.

Si tratta di un miglioramento genuino rispetto alla situazione precedente, quando l'unico modo per verificare la presenza di SynthID al di fuori del programma di tester fidati di Google era chiedere a Gemini e interpretare qualunque cosa rispondesse. Rilevare i watermark non dovrebbe richiedere una conversazione con il modello che li ha applicati. Fino a questa settimana, il detector era riservato a un gruppo di test di giornalisti, professionisti dei media e ricercatori che avevano ottenuto l'accesso al Google I/O dell'anno scorso, e la risposta spesso arrivava sotto forma di un paragrafo di prosa quando ciò che volevi era un singolo bit.

Che aspetto ha la scalabilità

I numeri dietro SynthID sono enormi. Dal lancio nel 2023, Google afferma di aver applicato watermark a più di 180 miliardi di immagini e video, oltre a 240.000 anni di contenuti audio. Le verifiche eseguite su Search, l'app Gemini e Chrome ora gestiscono oltre un milione di richieste al giorno.

Il meccanismo è la parte interessante. SynthID incorpora un segnale direttamente nei pixel di un'immagine o di un video, e nelle componenti di frequenza dell'audio, anziché nei metadati che possono essere rimossi. Per immagini e video, il watermark viene scritto al momento della creazione ed è progettato per sopravvivere a ritaglio, filtri, cambi di frame rate e compressione lossy. Per l'audio, è costruito per resistere a rumore aggiunto, compressione MP3 e cambi di velocità di riproduzione. Il watermarking del testo dall'app Gemini funziona diversamente, regolando i punteggi di probabilità che il modello assegna alle parole candidate in modo che l'output visibile rimanga invariato.

Questa differenza in dove risiede il segnale è il motivo per cui SynthID sopravvive a operazioni che eliminano completamente i metadati. Uno screenshot, una ricodifica e una pulizia dei metadati rimuoveranno tutti i tag di provenienza, ma non rimuovono un pattern intessuto nei valori stessi dei pixel. Il compromesso è che il segnale a livello di pixel è anche quello più suscettibile di degradarsi sotto trasformazioni aggressive, motivo per cui il detector richiede il file di qualità più alta che hai.

I formati supportati sono ampi: JPG, PNG, WEBP, HEIC e diversi altri tipi di immagine; MP4, MOV e WEBM per il video; WAV, MP3, OGG, FLAC, AAC e M4A per l'audio.

La partnership è la vera espansione

In precedenza il detector controllava solo il SynthID di Google. Anche le immagini di ChatGPT contenevano SynthID, e lo strumento di Google non le segnalava. Questo limite è scomparso. Ora il detector supporta i watermark di tutti i partner SynthID, inclusi OpenAI, NVIDIA e Kakao, con Apple che si unirà presto.

L'effetto pratico è che un singolo caricamento può identificare output di diversi importanti fornitori invece di richiedere una verifica separata sulla pagina di verifica di ciascuna azienda. OpenAI mantiene ancora la propria pagina, quindi un'immagine sospetta di ChatGPT ha due posti dove essere controllata.

I limiti meritano lo stesso risalto

Il sito è esplicito sul fatto che non è un rilevatore AI generico, e il disclaimer conta più della funzionalità. Può identificare media solo da aziende che hanno adottato SynthID. Microsoft e Meta gestiscono i propri standard di watermarking e verifica, e nessuno dei due appare nella lista dei partner. Il detector di Meta è già stato colto in fallo nel non rilevare alcune delle proprie immagini AI ritagliate.

Poi c'è il problema dei modelli open-weight. Chiunque può eseguire un modello aperto sul proprio hardware e produrre output senza alcun watermark e senza etichettatura dei metadati. Quel contenuto non apparirà mai nel detector.

Un risultato negativo quindi significa che l'origine del file è sconosciuta. Non significa che il file sia autentico. Può provenire da un modello al di fuori della rete di partner, oppure una modifica pesante può aver degradato il segnale oltre la soglia di rilevamento. La guida del sito stesso è di caricare la versione di qualità più alta disponibile e raccogliere molteplici punti dati prima di trarre una conclusione.

Il sito nota anche la modalità di errore opposta, che riceve meno attenzione. In rari casi il detector può attivarsi erroneamente su contenuti che non portano alcun watermark. Un falso positivo è un errore più dannoso di un falso negativo, perché invita qualcuno ad accusare una fotografia reale di essere sintetica. Esistono errori in entrambe le direzioni, e nessuno dei due è un sostituto del controllo della provenienza di un file.

L'accesso è deliberatamente limitato

Lo strumento è gratuito ma ad accesso limitato. Gli utenti hanno una quota giornaliera di circa 10 controlli su immagini, video e audio, e devono aver effettuato l'accesso. Gli ingegneri di Google hanno affermato che il limite esiste per impedire alle persone di utilizzare i controlli per sviluppare strumenti di rimozione di SynthID. La cifra della quota è descritta in modo approssimativo perché il sistema potrebbe bloccarti prima se stai controllando molti file molto simili. Quel pattern sembra qualcuno che sta mettendo a punto un bypass.

I media caricati vengono elaborati in tempo reale ed eliminati dopo la restituzione dei risultati, secondo l'informativa sulla privacy, sebbene una firma digitale del file venga conservata per 24 ore per far rispettare le quote. I termini proibiscono il reverse engineering della logica di rilevamento, l'automazione delle query e la creazione di più account per eludere i limiti.

Due filosofie della provenienza

SynthID è watermarking proattivo: etichettare il contenuto AI. L'approccio alternativo è etichettare invece il contenuto autentico, utilizzando standard crittografici come C2PA per firmare le informazioni di provenienza nei file al momento della cattura. I telefoni Pixel di Google sono tra i pochi dispositivi che lo fanno.

I due approcci falliscono in modi diversi. Il watermarking dipende dalla cooperazione del generatore, cosa che i modelli open-weight non hanno alcun incentivo a fare. La firma crittografica dipende dalla cooperazione del dispositivo di cattura, il che la limita all'hardware che include questa capacità. Nessuno dei due copre l'intero problema da solo, e il consiglio pratico è usarli entrambi, insieme al lavoro poco glamour di controllare fonte, data e contesto.

C'è una ragione strutturale per cui l'approccio del watermarking è quello che è stato distribuito per primo. Non richiede nuovo hardware né cambiamenti a come il contenuto viene consumato. Può essere adattato ai modelli esistenti con un aggiornamento. La provenienza crittografica richiede un ecosistema di dispositivi di cattura, strumenti di editing e visualizzatori che concordano tutti su uno standard, e quell'ecosistema è ancora in gran parte aspirazionale. Il percorso più facile è stato costruito per primo, e il percorso più facile ha il punto cieco più ampio.

Poi c'è la questione adversariale per cui nessuno ha una buona risposta. I watermark sono progettati per essere durevoli, il che non è la stessa cosa che essere irremovibili. Ogni strumento di rilevamento pubblico fornisce un segnale di training per chiunque cerchi di sconfiggerlo, ed è proprio per questo che Google limita la quota e proibisce le query automatizzate. Il detector è utile e il detector è anche una mappa per le persone che cercano di cancellare il marchio.

Cosa portare a casa

Il modello mentale utile è che SynthID ti dà un forte sì e un debolissimo no. Una corrispondenza positiva indica un insieme specifico di fornitori. Una corrispondenza negativa non ti dice quasi nulla. Chiunque tratti quest'ultima come un certificato di buona salute sta usando lo strumento in modo errato, e la documentazione di Google stessa è insolitamente schietta su questo.

Un accesso più ampio al rilevamento è una vera vittoria per l'alfabetizzazione mediatica. La vittoria è più limitata di quanto l'annuncio faccia sembrare, e le avvertenze sono dove risiede l'utilità effettiva.