Alguien catalogó 13.000 formas en que la escritura de IA se delata

Un estudio de la empresa de análisis de escritura Graphite ha hecho algo útil para cualquiera que lea mucha prosa generada por máquinas: dejó de adivinar y empezó a contar.

El equipo tomó 10.000 artículos publicados antes de que existiera ChatGPT, pidió a modelos de IA que los reescribieran y luego comparó los dos montones. Lo que salió fue una lista de aproximadamente 13.000 frases que aparecen al menos el doble de a menudo en las versiones de IA que en los originales humanos. No oraciones enteras. Frases. Pequeños giros habituales del lenguaje a los que recurre un modelo cuando está rellenando espacio.

Las señales delatoras se movieron, no desaparecieron

La parte obvia de ese hallazgo es el catálogo en sí. La parte más interesante es lo que ocurrió mientras se compilaba.

El director de IA de Graphite, Greg Druck, dijo que la línea de tendencia corre en dos direcciones a la vez. Los marcadores más antiguos y llamativos, como las rayas, se han reducido con entrenamiento, porque los desarrolladores los notaron y fueron tras ellos. Pero cuando un conjunto de tics se alisa, otro crece en el hueco. El catálogo no se acortó con el tiempo. Se volvió menos familiar.

Ese es el núcleo incómodo. La gente sigue tratando la detección de IA como un problema resuelto en una dirección u otra. O los detectores funcionan y pueden identificar a un modelo al instante, o están rotos y son inútiles. La realidad se parece más a la erosión. La superficie se limpia, la veta subyacente permanece.

Dos laboratorios, dos direcciones

La frase más citada del estudio es una división entre proveedores. Druck observó que los modelos Claude de Anthropic se han ido acercando a las distribuciones estándar de palabras humanas a lo largo de las generaciones. Los modelos GPT de OpenAI, según la misma medida, se han ido alejando más.

Tómese eso con la cautela que merece. Es la métrica de una sola empresa, sobre su propio conjunto de comparación, midiendo su propia definición de «similar a un humano». Las distribuciones de frecuencia de palabras no son la verdad. Un modelo puede situarse justo sobre el promedio humano y aun así producir oraciones que ninguna persona escribiría, y un modelo puede alejarse de la distribución mientras escribe algo genuinamente bueno.

Aun así, vale la pena señalar la dirección, porque coincide con una diferencia que se puede sentir. Algunos modelos se leen como un escritor cuidadoso al que le han dicho que evite los clichés. Otros se leen como un asistente muy seguro de sí mismo que ha absorbido un estilo de la casa y no piensa soltarlo.

Por qué las señales a nivel de frase importan más que las de nivel de oración

La mayoría de la gente conoció la detección de IA a través de pistas delatoras de oraciones enteras. La introducción que prepara el escenario. El resumen pulcro al final. La lista de tres partes que aparece haya o no tres partes en el contenido.

Los modelos mejoraron en no hacer esas cosas, al menos cuando se les pide con buenas palabras. Lo que es más difícil de lijar es el tejido conectivo. La forma en que un párrafo se cose al siguiente. El movimiento reflejo hacia el equilibrio, donde cada afirmación recibe un contrapeso correspondiente, haya o no evidencia que lo respalde. La preferencia por el sustantivo abstracto sobre el específico.

Estas sobreviven a las instrucciones de reescritura porque no son reglas que el modelo siga conscientemente. Son la forma de la distribución de la que aprendió. Puedes decirle a un modelo que deje de usar una palabra. Es mucho más difícil decirle que deje de pensar con un ritmo particular.

La lista de frases también hace un punto más sutil sobre los promedios. Las señales no se distribuyen de manera uniforme. Un modelo podría usar una frase mucho más que las personas y otra menos, en un patrón que solo aparece a través de miles de comparaciones. Ningún lector humano nota el agregado. Un lector nota una oración que le suena mal y rara vez sabe por qué. Esa brecha entre lo que las estadísticas pueden ver y lo que una persona puede articular es exactamente por qué la detección es difícil de hacer bien a ojo.

El mercado de detección que esto alimenta

Hay una consecuencia comercial obvia en una lista como esta. Cualquier empresa que venda detección de IA ahora tiene un conjunto nuevo y concreto de características con el que entrenar, y cualquier empresa que venda escritura con IA ahora tiene una lista nueva de hábitos que evitar.

Esa es la carrera armamentista en miniatura. Las empresas de detección minan patrones, las empresas de escritura los entrenan para eliminarlos, y el catálogo cambia. La pregunta interesante no es si la próxima versión de un detector puede atrapar la versión actual de un modelo. Es qué le pasa a la confianza cuando ambos lados se vuelven lo bastante buenos como para que ninguno pueda estar seguro.

Para un lector, el efecto práctico es la pérdida lenta de un atajo que, de todos modos, nunca funcionó de forma fiable. El estilo siempre fue una señal débil. Los plagiarios escribieron con su propia voz durante siglos, y los escritores honestos siempre han tomado prestadas frases. El nuevo catálogo solo hace medible la señal débil.

Qué significa esto si publicas

Para un escritor, el estudio se lee menos como una amenaza y más como un espejo. Si 13.000 frases se inclinan hacia la prosa de máquina, entonces un borrador que se apoye en esas frases se leerá como prosa de máquina, sin importar lo buenas que sean las ideas. La solución no es un detector. La solución son los detalles concretos.

La escritura de máquina recurre por defecto a lo general porque lo general siempre es seguro. La escritura humana está llena de lo particular: el nombre de la calle, el número que no se redondea, el detalle que solo sabría alguien que estuvo allí. Esas son las partes que ninguna cantidad de limpieza de frases puede falsificar, porque nunca estuvieron en los datos de entrenamiento en primer lugar.

Para un editor, la lección práctica es lo contrario de la automatización. Las señales ahora son lo bastante sutiles como para que una mirada no las detecte. Hay que leer buscando el ritmo y la ausencia de detalles concretos, no la raya delatora que todo el mundo ya aprendió a buscar. La edición más fiable no es eliminar los tics obvios. Es añadir el tipo de detalle concreto que un modelo no habría inventado, lo que sirve al lector y, de paso, derrota al clasificador al mismo tiempo.

La carrera armamentista que nadie gana limpiamente

Hay una versión de esta historia en la que se resuelve la detección. Un clasificador entrenado con suficientes de estos patrones de frases marca el texto de IA con alta precisión, y todo el mundo vuelve a confiar en lo que lee.

Esa versión tiene un problema. En el momento en que se publica un detector, se convierte en señal de entrenamiento. El siguiente modelo se entrena para evitar aquello en lo que el detector se fija, y el catálogo vuelve a cambiar. Las 13.000 frases de Graphite son una instantánea, no un acuerdo definitivo.

Lo que queda es una lenta redefinición de lo que significa que algo «se lea como una persona». Cada generación de modelos eleva el piso de la competencia genérica, y cada generación hace que los marcadores humanos restantes sean un poco más distintivos en comparación. Las señales no se desvanecen. Migran a gestos cada vez más pequeños, hasta que la única señal fiable que queda es la que siempre fue fiable: si la escritura sabe algo que el lector no sabía y lo dice sin rodeos.

Una lista de frases no puede medir eso. Tampoco, hasta ahora, puede hacerlo un clasificador. Es la parte de la escritura que se resiste a ser catalogada, y puede que sea la parte que acabe importando más.