Alguém catalogou 13.000 maneiras de a escrita de IA se denunciar

Um estudo da empresa de análise de escrita Graphite fez algo útil para quem lê muita prosa gerada por máquina: parou de adivinhar e começou a contar.

A equipe pegou 10.000 artigos publicados antes de o ChatGPT existir, pediu que modelos de IA os reescrevessem e então comparou as duas pilhas. O que saiu dali foi uma lista de aproximadamente 13.000 frases que aparecem pelo menos duas vezes mais nas versões de IA do que nos originais humanos. Não frases inteiras. Expressões. Pequenos giros habituais da linguagem que um modelo busca quando está preenchendo espaço.

Os sinais se moveram, não desapareceram

A parte óbvia dessa descoberta é o próprio catálogo. A parte mais interessante é o que aconteceu enquanto ele era montado.

Greg Druck, diretor de IA da Graphite, disse que a linha de tendência corre em duas direções ao mesmo tempo. Marcadores mais antigos e mais evidentes, como travessões, foram sendo treinados para baixo, porque os desenvolvedores os notaram e foram atrás deles. Mas quando um conjunto de tiques é suavizado, outro cresce na lacuna. O catálogo não ficou menor com o tempo. Ficou menos familiar.

Esse é o núcleo incômodo da questão. As pessoas continuam tratando a detecção de IA como um problema resolvido em uma direção ou na outra. Ou os detectores funcionam e identificam um modelo instantaneamente, ou estão quebrados e são inúteis. A realidade se parece mais com erosão. A superfície é esfregada, o grão por baixo permanece.

Dois laboratórios, duas direções

A frase mais citada do estudo é uma divisão entre fornecedores. Druck observou que os modelos Claude, da Anthropic, vêm se aproximando das distribuições-padrão de palavras humanas ao longo das gerações. Os modelos GPT, da OpenAI, pela mesma medida, vêm se afastando cada vez mais.

Receba isso com a cautela que merece. É a métrica de uma única empresa, sobre seu próprio conjunto de comparação, medindo sua própria definição de "semelhante a humano". Distribuições de frequência de palavras não são a verdade. Um modelo pode ficar exatamente sobre a média humana e ainda produzir frases que ninguém escreveria, e um modelo pode se afastar da distribuição enquanto escreve algo genuinamente bom.

Ainda assim, vale notar a direção, porque ela coincide com uma diferença que dá para sentir. Alguns modelos soam como um escritor cuidadoso a quem disseram para evitar clichês. Outros soam como um assistente muito confiante que absorveu um estilo da casa e não abre mão dele.

Por que os sinais no nível da frase importam mais que os no nível do período

A maioria das pessoas conheceu a detecção de IA por meio de entregas de frases inteiras. A abertura que prepara o palco. O resumo arrumadinho no final. A lista de três partes que aparece tenha ou não o conteúdo três partes.

Os modelos ficaram melhores em não fazer essas coisas, ao menos quando se pede com jeitinho. O que é mais difícil de lixar é o tecido conjuntivo. O modo como um parágrafo é costurado ao seguinte. O movimento reflexo em direção ao equilíbrio, em que toda afirmação recebe um contrapeso correspondente, apoie ou não a evidência. A preferência pelo substantivo abstrato em vez do específico.

Esses traços sobrevivem às instruções de reescrita porque não são regras que o modelo segue conscientemente. São a forma da distribuição com que ele aprendeu. Você pode dizer a um modelo para parar de usar uma palavra. É muito mais difícil dizer a ele para parar de pensar em um determinado ritmo.

A lista de frases também faz um ponto mais sutil sobre médias. Os sinais não se distribuem de forma uniforme. Um modelo pode usar uma frase muito mais que as pessoas e outra menos, em um padrão que só aparece ao longo de milhares de comparações. Nenhum leitor humano percebe o agregado. O leitor percebe uma frase que soa estranha e raramente sabe por quê. Essa lacuna entre o que a estatística consegue ver e o que uma pessoa consegue articular é exatamente o motivo pelo qual a detecção é difícil de fazer bem a olho nu.

O mercado de detecção que isso alimenta

Há uma consequência comercial óbvia em uma lista como essa. Qualquer empresa que venda detecção de IA agora tem um conjunto novo e concreto de características para treinar, e qualquer empresa que venda escrita com IA agora tem uma lista nova de hábitos a evitar.

Essa é a corrida armamentista em miniatura. Empresas de detecção mineram padrões, empresas de escrita os treinam para fora, e o catálogo muda. A pergunta interessante não é se a próxima versão de um detector consegue pegar a versão atual de um modelo. É o que acontece com a confiança quando ambos os lados ficam bons o suficiente para que nenhum dos dois tenha certeza.

Para o leitor, o efeito prático é a perda lenta de um atalho que nunca funcionou de forma confiável, de qualquer modo. O estilo sempre foi um sinal fraco. Plagiadores escreveram com a própria voz durante séculos, e escritores honestos sempre tomaram frases emprestadas. O novo catálogo apenas torna o sinal fraco mensurável.

O que isso significa se você publica

Para quem escreve, o estudo soa menos como uma ameaça e mais como um espelho. Se 13.000 frases penderam para a prosa de máquina, então um rascunho que se apoia nelas vai soar como prosa de máquina, por melhores que sejam as ideias. A solução não é um detector. A solução são especificidades.

A escrita de máquina recorre ao geral por padrão, porque o geral é sempre seguro. A escrita humana está cheia do particular: o nome da rua, o número que não arredonda, o detalhe que só quem estava lá saberia. Essas são as partes que nenhuma limpeza de frases consegue falsificar, porque nunca estiveram nos dados de treinamento, para começar.

Para um editor, a lição prática é o oposto da automação. Os sinais agora são sutis o bastante para que um olhar rápido não os capture. É preciso ler em busca de ritmo e da ausência de especificidades, não do travessão denunciador que todo mundo já aprendeu a procurar. A edição mais confiável não é apagar os tiques óbvios. É acrescentar o tipo de detalhe concreto que um modelo não teria inventado, o que serve ao leitor e, de quebra, derrota o classificador ao mesmo tempo.

A corrida armamentista que ninguém vence de forma limpa

Existe uma versão dessa história em que a detecção é resolvida. Um classificador treinado com padrões de frases suficientes sinaliza texto de IA com alta precisão, e todo mundo volta a confiar no que lê.

Essa versão tem um problema. No momento em que um detector é publicado, ele se torna sinal de treinamento. O próximo modelo é treinado para evitar aquilo em que o detector se baseia, e o catálogo muda de novo. As 13.000 frases da Graphite são um retrato de um instante, não um acordo definitivo.

O que resta é uma redefinição lenta do que significa "soar como uma pessoa". Cada geração de modelos eleva o piso da competência genérica, e cada geração torna os marcadores humanos restantes um pouco mais distintivos por comparação. Os sinais não desaparecem. Eles migram para gestos cada vez menores, até que o único sinal confiável que resta seja o que sempre foi confiável: se a escrita sabe algo que o leitor não sabia, e o diz de forma clara.

Uma lista de frases não consegue medir isso. Um classificador, até agora, também não. É a parte da escrita que resiste a ser catalogada, e pode ser justamente a parte que acaba importando mais.