Você ainda consegue distinguir uma imagem de IA de uma foto real? A corrida armamentista da detecção está ficando desconfortável

Um pequeno jogo na web chamado "Você consegue dizer quais imagens são geradas por IA?" chegou à página inicial do Hacker News neste mês com 112 pontos e 85 comentários. A premissa é simples: você vê uma sequência de imagens e adivinha se são reais ou geradas. Os comentários convergiram para a mesma confissão. Pessoas que trabalham com imagens para viver estavam acertando pouco melhor do que jogar uma moeda para o alto.

Alguns dias depois, uma outra thread do HN apresentou a Pangram, uma startup que vende detecção de IA tanto para texto quanto para imagens, com uma discussão de 27 comentários sobre se a detecção pode funcionar de alguma forma. Entre as duas threads está o estado desconfortável do campo: distinguir imagens geradas de imagens reais está ficando mais difícil mais rápido do que a detecção está melhorando.

Por que seus olhos continuam perdendo

Os sinais que costumavam funcionar desapareceram ou quase desapareceram. Mãos embaralhadas, texto derretido, iluminação inconsistente, pele cerosa: cada correção foi sendo implementada nas gerações sucessivas de modelos. A renderização de texto, por muito tempo o indício confiável, agora é um problema resolvido nos principais modelos, o que é em parte o motivo pelo qual os benchmarks de imagem começaram a lhe dar tanto peso. O que resta é uma lacuna mais sutil. Imagens geradas muitas vezes são um pouco coerentes demais, as texturas um pouco uniformes demais, os fundos um pouco solícitos demais. Os humanos percebem a vibe e não conseguem articulá-la, e é exatamente por isso que um jogo de adivinhação deixa todo mundo em situação embaraçosa.

A questão do Loki ilustra o ponto em outro registro. Um post no r/StableDiffusion perguntava como as pessoas estão produzindo imagens de IA que preservam tão precisamente a aparência de um ator específico em novos figurinos e cenas. A resposta, de quem faz isso, é geração baseada em referência e adaptadores fine-tuned, nada disso exige ferramentas exóticas hoje em dia. Semelhanças que teriam levado anos em um estúdio de VFX agora são um projeto de uma tarde, e a pessoa que perguntou não conseguia dizer quais das imagens inundando seu feed eram saídas de modelo.

Detecção como produto, detecção como política

O argumento da Pangram é que a detecção é tratável quando você treina detectores com a mesma agressividade que os geradores. A discussão no HN rebateu com as objeções padrão e majoritariamente corretas: detectores generalizam mal para modelos nunca vistos, produzem falsos positivos que prejudicam fotógrafos reais, e qualquer detector publicado se torna um alvo que o próximo lançamento de modelo derrota silenciosamente. Há também a abordagem de proveniência, credenciais de conteúdo no estilo C2PA, que contorna a detecção ao pedir que câmeras e geradores assinem suas saídas. Isso ajuda quando todos cooperam. Não faz nada pela imagem que alguém recodificou e teve os metadados removidos.

A política está avançando de qualquer forma. Restaurantes usando fotografia de comida por IA viraram uma pequena notícia neste mês por meio de uma matéria do Wall Street Journal, e a reação negativa foi menos sobre engano em abstrato do que sobre a traição específica: o hambúrguer que você pede deveria se parecer com o hambúrguer do anúncio. Esse é um mecanismo de detecção social, confiança obtida pela multidão, e é mais rigoroso do que qualquer classificador.

O que as threads do HN realmente debateram

As duas discussões no Hacker News dividiram o problema de forma clara. A thread do jogo era majoritariamente pessoas relatando pontuações e trocando dicas, e as dicas são um bom registro fóssil do que costumava funcionar: olhe as mãos, confira o texto, inspecione reflexos, conte os dedos dos pedestres ao fundo. Quase todas essas verificações agora retornam falsos negativos nos modelos atuais. A renderização de texto em particular deixou de ser um indício confiável depois que os principais modelos a transformaram em prioridade de benchmark; uma fachada de loja gerada com letreiros legíveis era uma novidade dois anos atrás e agora é comportamento padrão.

A thread da Pangram foi mais cética. As objeções nos comentários eram as padrão, e elas se sustentam: detectores treinados com os geradores de ontem não pegam os de amanhã, falsos positivos recaem com mais força sobre fotógrafos reais cujo trabalho é marcado como sintético, e a publicação de um detector é um convite aberto para que o próximo modelo seja treinado contra ele. Um comentário tornou a assimetria concreta: um gerador só precisa enganar os detectores que existem, enquanto um detector precisa pegar todos os geradores, incluindo os que ainda não foram lançados. Essa é uma corrida perdida por construção, e é por isso que os produtos comerciais de detecção vendem majoritariamente para instituições com obrigações de moderação, e não para indivíduos curiosos sobre uma imagem suspeita.

Proveniência, a alternativa entediante

A alternativa que não para de aparecer são as credenciais de conteúdo: metadados assinados criptograficamente, no estilo C2PA, anexados na captura ou na geração. Câmeras assinam o que o sensor viu. Geradores assinam o que o modelo produziu. Ferramentas de edição preservam ou anotam a cadeia. Nada disso exige detectar coisa alguma, o que é sua principal virtude, já que a detecção é uma corrida armamentista permanente e a assinatura é um padrão de infraestrutura.

As fraquezas são igualmente estruturais. A assinatura é voluntária, os metadados são removidos por capturas de tela e recodificações, e a cadeia só prova de onde uma imagem veio, nunca se o original era honesto. Uma imagem de IA assinada ainda é uma imagem de IA. Mas, à medida que as plataformas começam a exibir credenciais, a presença de uma cadeia limpa se torna um sinal de confiança, assim como o HTTPS se tornou um, e sua ausência começa a ser lida como uma pergunta que a imagem não consegue responder.

A camada social é mais rigorosa que a camada técnica

Entre a detecção e a proveniência está o mecanismo que realmente fez o trabalho neste mês: as multidões. A história dos restaurantes se espalhou porque clientes reconheceram a diferença entre a comida fotografada e a servida, não porque um classificador a sinalizou. As imagens de netos de boomers viraram uma história porque pais no grupo de mensagens disseram não. As imagens do Loki fizeram um subreddit perguntar como foram feitas, e a resposta veio em um dia. Comunidades detectam da forma como detectores não conseguem, conhecendo o contexto.

Isso sugere uma divisão de trabalho que vale a pena levar a sério. Máquinas são boas em triagem em escala, sinalizando uploads em massa para revisão humana. Humanos são bons em contexto, percebendo que o hambúrguer do anúncio não tem migalhas porque nenhum hambúrguer tem. A proveniência é boa na fonte, onde estão os atores honestos. Nenhuma camada isolada pega tudo, e é exatamente por isso que o jogo que envergonhou todo mundo continua sendo uma calibração útil, e não um veredito.

O que isso significa para quem publica imagens

Se você publica ou encomenda imagens, três hábitos decorrem do estado atual. Primeiro, rotular conteúdo gerado está se tornando um ativo de confiança, em vez de uma admissão. Os criadores que divulgam, e há uma divisão visível nas threads do r/StableDiffusion sobre como lidar com comentários anti-IA, estão construindo públicos que permanecem quando a divulgação acontece desde o início. Segundo, metadados de proveniência são baratos de manter e ocasionalmente decisivos; as plataformas estão começando a exibi-los, e o custo de preservá-los é uma opção nas configurações. Terceiro, para qualquer coisa em que a imagem faça uma afirmação factual (notícias, produtos, evidências), presuma que seu público tem um detector de cara ou coroa e uma ferramenta de captura de tela. A única defesa duradoura é ser verdadeiro sobre o que a imagem é.

O jogo que envergonhou todo mundo vale a pena jogar mesmo assim. Dez minutos contra um baralho embaralhado de imagens reais e geradas recalibram sua confiança em uma direção útil. As imagens em que você falha não foram falhas de atenção. Elas são a nova linha de base, e a linha de base se move todo mês.