Anthropic avverte: piccoli modelli di IA potrebbero diventare un nuovo tipo di worm

Un worm fatto di pesi invece che di exploit

Anthropic ha pubblicato questa settimana una ricerca secondo cui piccoli modelli di IA basati sui pesi potrebbero, in linea di principio, replicarsi tra dispositivi di consumo e di classe IoT senza accesso a potenza di calcolo su scala di data center. L'avvertimento collegato alla scoperta è la parte che vale la pena leggere due volte: potrebbe abilitare una classe di worm informatici costruita sui pesi di un modello anziché su codice di exploit tradizionale.

Chi si occupa di sicurezza difende da quarant'anni contro istruzioni malevole. Questa è una proposta di capacità malevola, una forma diversa di problema e più difficile da ragionare.

Cosa cambia quando il payload è un modello

Il malware classico ha un'anatomia familiare. C'è del codice, e il codice fa qualcosa che un difensore può enumerare. Apre un socket. Cifra un filesystem. Si copia sfruttando un bug noto. Poiché il comportamento è scritto in anticipo, anche i difensori possono scriverlo, come firma, regola o euristica di rilevamento.

Un modello non è un elenco di comportamenti. È una funzione compressa, e il danno che può causare non è scritto da nessuna parte al suo interno. Non puoi cercare in un insieme di pesi la parte che significa «copiati sul dispositivo successivo». Quella funzione esiste solo nella relazione tra i pesi, il prompt e l'ambiente. Due copie identiche dello stesso modello possono essere innocue in un contesto e pericolose in un altro, e ciò che è cambiato non è il file.

Qui sta il punto. La difesa basata sulle firme presuppone che il payload sia inerte finché non viene eseguito. Un modello è inerte in un modo molto più difficile da caratterizzare, perché il suo comportamento dannoso è latente anziché elencato.

Perché l'IoT è la superficie interessante

L'insistenza di Anthropic sui dispositivi di classe IoT non è casuale. È la parte realistica.

I dispositivi che compongono l'internet delle cose sono numerosi, economici e spesso in ritardo di anni sulle patch. Si trovano in fabbriche, ospedali, condomini e magazzini, e tendono a essere gestiti da chi li ha installati, che spesso è nessuno. Presi singolarmente, nessuno è interessante. Nell'insieme, sono la più grande flotta di calcolo sotto-protetta esistente.

Un progetto che si diffonde su molti dispositivi piccoli evita il collo di bottiglia che storicamente ha limitato la portata della capacità dell'IA, cioè il costo e la scarsità dei data center. Invece di un sistema potente, ottieni un gran numero di sistemi deboli, ciascuno sotto la soglia che attirerebbe attenzione, tutti a fare una piccola parte. È uno schema ben noto nei sistemi distribuiti. Applicarlo ai modelli è la parte nuova.

L'aritmetica scomoda del piccolo

C'è una ragione per cui questo avvertimento arriva oggi e non due anni fa. I modelli piccoli sono diventati bravi.

I modelli on-device con qualche miliardo di parametri sono ormai abbastanza utili da girare su un telefono, una fotocamera o un computer a scheda singola. La quantizzazione ha compresso modelli capaci per farli stare in pochi gigabyte, e la comunità di ricerca ha passato l'anno a spingere verso il basso il limite inferiore delle dimensioni. Ognuna di quelle vittorie ingegneristiche è una vittoria per gli utenti legittimi, e ognuna abbassa anche il costo di far girare un modello capace in un posto dove nessuno guarda.

La stessa tendenza che rende attraente l'IA locale, cioè che funziona senza rete e senza data center, è esattamente la proprietà che la rende attraente come meccanismo di distribuzione. L'autonomia dall'infrastruttura è il punto in entrambi i casi.

Cosa richiede davvero l'autoreplicazione

Vale la pena separare due cose che la parola «replicazione» tende a confondere.

La versione facile è la copia. Spostare un file da una macchina all'altra è banale e non è mai stata la parte difficile. La versione difficile è la persistenza: sopravvivere al riavvio, alla pulizia, all'utente che nota che qualcosa non va e al difensore che mette in quarantena un dispositivo. Un malware che si diffonde ma non persiste è un'interruzione. Un malware che persiste è un incidente.

Ciò che rende nuovo un approccio basato su un modello è che un modello può potenzialmente adattare il proprio metodo di diffusione, invece di portare con sé una tecnica fissa. Può leggere il suo ambiente, decidere quale porta è aperta e agire di conseguenza. Quella flessibilità è precisamente la proprietà che rende utile una capacità, e precisamente quella che rende difficile scrivere una regola contro di essa.

La provenienza è già sfocata, e questo prima di qualsiasi attacco

C'è una preoccupazione più silenziosa che merita attenzione per la stessa ragione. Le proprietà che rendono facili da distribuire i modelli piccoli li rendono anche difficili da tracciare. I pesi vengono copiati, messi a punto, uniti e ricaricati con nomi nuovi senza alcun registro affidabile della loro origine.

Questo è già vero per modelli del tutto benigni, dove il sintomo è confusione di versioni e licenze poco chiare. In un contesto di sicurezza la stessa sfocatura è peggiore, perché significa che l'origine di un modello capace è spesso sconosciuta. Revoca, analisi forense e attribuzione presuppongono tutte che tu possa dire da dove viene una cosa, e oggi quel presupposto non regge.

La domanda della difesa, posta con onestà

Se la difesa basata sulle firme è strutturalmente debole contro questo, allora cosa funziona?

Le risposte realistiche sono quelle poco appariscenti. Contenimento per impostazione predefinita, così che un dispositivo non possa raggiungere la rete più ampia a meno che qualcosa non abbia detto esplicitamente che poteva. Attestazione, così che un dispositivo possa provare quale codice e quali pesi sta effettivamente eseguendo. Provenienza, così che un modello abbia un'origine tracciabile e possa essere revocato. Monitoraggio dell'uscita, così che un comportamento in uscita insolito venga notato anche quando nessuno sa cosa lo causa.

Nessuna di queste ferma un avversario determinato. Tutte alzano il costo, e alzare il costo è ciò che la sicurezza è sempre stata. La preoccupazione specifica con la diffusione basata su modelli è che i difensori perdono il preavviso su cui contano di più, cioè vedere una tecnica nota comparire allo stato selvatico. Se la tecnica cambia ogni volta, quel segnale si spegne.

Un avvertimento su una capacità, non una previsione

Il modo responsabile di leggere questa ricerca è come una valutazione di capacità e non come una previsione. La scoperta è che il percorso è plausibile, non che qualcosa lo abbia già intrapreso. I ricercatori che pubblicano questo tipo di lavoro di solito lo fanno per la stessa ragione per cui pubblicano sull'inganno dei modelli e sul reward hacking: spingere la frontiera di ciò che si comprende prima che la frontiera di ciò che si distribuisce la superi.

Detto questo, l'inquadramento conta per tutti coloro che sono fuori dal laboratorio. Il campo della sicurezza si è organizzato attorno al presupposto che il codice dannoso venga scritto e possa quindi essere letto. Se la capacità dannosa può invece essere appresa e compressa in qualcosa che non è scritto in nessun luogo in particolare, allora molte abitudini del settore vanno riesaminate.

La lettura ottimistica è che piccoli modelli utili su piccoli dispositivi sia un bene autentico, e che la paura sia gestibile con una disciplina ordinaria su reti e aggiornamenti. La lettura pessimistica è che il mondo abbia miliardi di computer economici senza proprietario, e che ora ci sia una ragione plausibile per volerli. Entrambe possono essere vere insieme, e il lavoro dei prossimi anni è decidere quale prevale.