Anthropic advierte que los modelos de IA pequeños podrían ser un nuevo tipo de gusano

Un gusano hecho de pesos en lugar de exploits

Anthropic publicó esta semana una investigación que sugiere que los modelos de IA pequeños basados en pesos podrían, en principio, replicarse entre dispositivos de consumo y de clase IoT sin acceso a cómputo a escala de centro de datos. La advertencia que acompaña al hallazgo es la parte que conviene leer dos veces: podría habilitar una clase de gusano informático construido sobre los pesos de un modelo y no sobre código de explotación tradicional.

La gente de seguridad lleva cuarenta años defendiéndose de instrucciones maliciosas. Esto es una propuesta de capacidad maliciosa, una forma distinta de problema y más difícil de razonar.

Qué cambia cuando la carga útil es un modelo

El malware clásico tiene una anatomía conocida. Hay código, y el código hace algo que un defensor puede enumerar. Abre un socket. Cifra un sistema de archivos. Se copia a sí mismo explotando un fallo conocido. Como el comportamiento está escrito de antemano, los defensores también pueden escribirlo, como firma, regla o heurística de detección.

Un modelo no es una lista de comportamientos. Es una función comprimida, y el daño que puede causar no está escrito en ninguna parte de él. No puedes buscar en un conjunto de pesos la parte que significa «cópiate al siguiente dispositivo». Esa función solo existe en la relación entre los pesos, el prompt y el entorno. Dos copias idénticas del mismo modelo pueden ser inofensivas en un contexto y peligrosas en otro, y lo que cambió no es el archivo.

Ahí está el quid. La defensa basada en firmas supone que la carga útil es inerte hasta que se ejecuta. Un modelo es inerte de una manera mucho más difícil de caracterizar, porque su comportamiento dañino es latente en lugar de estar enumerado.

Por qué el IoT es la superficie interesante

El énfasis de Anthropic en los dispositivos de clase IoT no es casual. Es la parte realista.

Los dispositivos que componen el internet de las cosas son numerosos, baratos y a menudo llevan años de retraso en los parches. Están en fábricas, hospitales, edificios de apartamentos y almacenes, y tienden a ser gestionados por quien los instaló, que con frecuencia es nadie. Vistos uno por uno, ninguno es interesante. En conjunto, son la mayor flota de cómputo con menos defensas que existe.

Un diseño que se propaga por muchos dispositivos pequeños evita el cuello de botella que históricamente ha limitado el alcance de la capacidad de la IA, es decir, el costo y la escasez de los centros de datos. En lugar de un sistema potente, obtienes un gran número de sistemas débiles, cada uno por debajo del umbral que atraería escrutinio, todos haciendo una pequeña parte. Ese es un patrón bien conocido en los sistemas distribuidos. Aplicarlo a los modelos es lo nuevo.

La incómoda aritmética de lo pequeño

Hay una razón por la que esta advertencia llega ahora y no hace dos años. Los modelos pequeños se volvieron buenos.

Los modelos en el dispositivo con unos pocos miles de millones de parámetros ahora son lo bastante útiles para correr en un teléfono, una cámara o un ordenador de placa única. La cuantización ha comprimido modelos capaces para que quepan en unos pocos gigabytes, y la comunidad investigadora ha pasado el año empujando hacia abajo el piso de tamaño. Cada una de esas victorias de ingeniería es una victoria para los usuarios legítimos, y cada una también reduce el costo de ejecutar un modelo capaz en un lugar donde nadie está mirando.

La misma tendencia que hace atractiva la IA local, es decir, que funciona sin red y sin centro de datos, es exactamente la propiedad que la hace atractiva como mecanismo de distribución. La autonomía respecto de la infraestructura es el punto central en ambos casos.

Qué requiere realmente la autorreplicación

Vale la pena separar dos cosas que la palabra «replicación» tiende a difuminar.

La versión fácil es la copia. Mover un archivo de una máquina a otra es trivial y nunca ha sido la parte difícil. La versión difícil es la persistencia: sobrevivir al reinicio, a la limpieza, al usuario que nota que algo va mal y al defensor que pone en cuarentena un dispositivo. El malware que se propaga pero no persiste es una interrupción. El malware que persiste es un incidente.

Lo que hace novedoso un enfoque basado en un modelo es que un modelo puede adaptar su propio método de propagación, en lugar de llevar una técnica fija. Puede leer su entorno, decidir qué puerta está abierta y actuar en consecuencia. Esa flexibilidad es precisamente la propiedad que hace útil a una capacidad, y precisamente la que hace difícil escribir una regla en su contra.

La procedencia ya es borrosa, y eso es antes de que alguien ataque

Hay una preocupación más silenciosa que merece atención por la misma razón. Las propiedades que hacen fáciles de distribuir a los modelos pequeños también los hacen difíciles de rastrear. Los pesos se copian, se ajustan, se fusionan y se vuelven a subir con nombres nuevos sin un registro fiable de su origen.

Eso ya es cierto para modelos totalmente benignos, donde el síntoma es la confusión de versiones y una licencia poco clara. En un contexto de seguridad, la misma borrosidad es peor, porque significa que el origen de un modelo capaz con frecuencia es desconocido. La revocación, el análisis forense y la atribución suponen todos que puedes decir de dónde vino algo, y hoy esa suposición no se sostiene.

La pregunta de la defensa, planteada con honestidad

Si la defensa basada en firmas es estructuralmente débil frente a esto, ¿qué funciona?

Las respuestas realistas son las poco glamorosas. Contención por defecto, de modo que un dispositivo no pueda alcanzar la red más amplia a menos que algo haya dicho explícitamente que puede. Atestación, de modo que un dispositivo pueda probar qué código y qué pesos está ejecutando en realidad. Procedencia, de modo que un modelo tenga un origen rastreable y pueda revocarse. Monitoreo de salida, de modo que el comportamiento saliente inusual sea notado incluso cuando nadie sabe qué lo causa.

Ninguna de estas detiene a un adversario decidido. Todas elevan el costo, y elevar el costo es lo que la seguridad siempre ha sido. La preocupación específica con la propagación basada en modelos es que los defensores pierden la alerta temprana en la que más confían, que es observar una técnica conocida aparecer en el mundo real. Si la técnica cambia cada vez, esa señal se apaga.

Una advertencia sobre una capacidad, no una predicción

La manera responsable de leer esta investigación es como una evaluación de capacidad y no como un pronóstico. El hallazgo es que la vía es plausible, no que algo haya caminado por ella. Los investigadores que publican este tipo de trabajo suelen hacerlo por la misma razón por la que publican sobre el engaño de los modelos y el reward hacking: empujar la frontera de lo que se entiende antes de que la frontera de lo que se despliega la rebase.

Dicho esto, el encuadre importa para todos los que están fuera del laboratorio. El campo de la seguridad se ha organizado en torno al supuesto de que el código dañino se escribe y por lo tanto puede leerse. Si la capacidad dañina puede en cambio aprenderse y comprimirse en algo que no está escrito en ningún lugar en particular, entonces muchas costumbres de la industria necesitan ser reexaminadas.

La lectura optimista es que los modelos pequeños sean útiles en dispositivos pequeños es un bien genuino, y que el miedo es manejable con disciplina ordinaria sobre redes y actualizaciones. La lectura pesimista es que el mundo tiene miles de millones de ordenadores baratos sin dueño, y que ahora hay una razón plausible para quererlos. Ambas pueden ser ciertas a la vez, y el trabajo de los próximos años es decidir cuál domina.