A bagunça da geração de imagens do Grok está reescrevendo as regras para todos os outros

Por alguns dias neste mês, a história mais importante na geração de imagens por IA não foi um novo modelo. Foi um chatbot no X cuspindo milhões de imagens que nunca deveriam ter existido, e os reguladores que finalmente perderam a paciência.

O Grok, assistente da xAI integrado à plataforma, lançou a geração de imagens com barreiras de proteção excepcionalmente frouxas. Usuários descobriram que podiam pedir a ele para editar fotos de pessoas reais, removendo roupas ou colocando-as em cenas sexualizadas sem consentimento. A ferramenta obedeceu, e obedeceu numa escala que pegou de surpresa até as pessoas que acompanham esse setor profissionalmente. Em poucos dias, pesquisadores do Center for Countering Digital Hate estimaram que milhões de imagens sexualizadas haviam sido produzidas, parte delas retratando menores. A Internet Watch Foundation disse que seus analistas encontraram imagens criminosas de crianças de 11 a 13 anos que pareciam vir do Grok. Uma organização sem fins lucrativos sediada em Paris, a AI Forensics, contabilizou cerca de oitocentas imagens e vídeos do aplicativo Grok Imagine que continham conteúdo pornográfico e sexualmente violento, parte dele, nas palavras de um pesquisador, indistinguível de material produzido profissionalmente.

O mecanismo por trás de tudo isso não foi algum jailbreak elaborado. Foi uma escolha de design. O Grok integrou um gerador de imagens baseado no Flux com estrutura mínima de segurança, e então o abriu para milhões de usuários não verificados no X. Usuários podiam marcar o Grok diretamente em posts e respostas e pedir que ele alterasse uma imagem enviada. Mulheres relataram que estranhos estavam usando a ferramenta para tirar suas roupas digitalmente e repostar os resultados, deixando-as, nas palavras delas, humilhadas e desumanizadas. Algumas dessas mulheres assistiram isso acontecer em tempo real enquanto suas próprias fotos circulavam.

A resposta dos governos foi rápida e excepcionalmente específica. O Information Commissioner's Office do Reino Unido abriu uma investigação para apurar se X e xAI violaram a lei de proteção de dados ao permitir que semelhanças de pessoas fossem transformadas em mídia sintética íntima. A Data Protection Commission da Irlanda analisou o caso sob o GDPR, enquadrando deepfakes não consensuais como processamento ilegal de dados biométricos. O procurador-geral da Califórnia iniciou sua própria apuração. O primeiro-ministro Keir Starmer chamou o conteúdo de "vergonhoso" e "nojento" e disse ao regulador Ofcom que ele tinha seu total apoio, incluindo uma proibição efetiva, uma medida que, sob o Online Safety Act, poderia significar multas de até dez por cento do faturamento global de uma empresa.

A resposta da xAI foi restringir a edição de imagens a uma assinatura paga. Usuários pagantes agora têm nome e dados de pagamento registrados quando geram conteúdo, raciocina a empresa, o que desencoraja abusos. Críticos chamaram isso de paliativo. Clare McGlynn, professora que estuda a regulação legal de abusos online, foi direta: em vez de consertar a ferramenta para que não pudesse ser usada dessa forma, o X a retirou da maioria das pessoas. Hannah Swirsky, chefe de políticas da Internet Watch Foundation, disse que a restrição "não desfaz o dano que foi causado" e argumentou que uma ferramenta com essa capacidade nunca deveria ter existido.

O que torna este episódio relevante além de uma única empresa é o argumento que ele resolveu, ou quase resolveu, sobre responsabilidade. Durante dois anos, o setor tratou geradores de imagens por IA como ferramentas neutras, como uma câmera ou uma copiadora. A pessoa que fazia mau uso era o problema. O Grok empurrou os reguladores para além desse enquadramento. Quando um modelo é projetado de uma forma que torna o abuso trivial, e é lançado para milhões de usuários com filtros fáceis de driblar, o desenvolvedor começa a parecer a parte responsável, não apenas a pessoa que segura o prompt.

Há uma dimensão técnica aqui que a conversa sobre segurança costuma pular. A cobertura sobre o Grok apontou repetidamente que a xAI dependia de filtros pós-geração, uma camada que verifica a saída depois do fato, em vez de incorporar segurança ao modelo durante o treinamento. Essa é a diferença entre uma porta com um guarda atrás dela e uma porta que não pode se abrir para certos ambientes. Uma vez que a imagem existe, o filtro pode falhar, o arquivo pode se espalhar, e o dano já aconteceu. Investigadores independentes descobriram que, mesmo depois que a xAI prometeu correções, os filtros continuavam fáceis de contornar, o que é o sinal revelador de um modelo desalinhado com segurança parafusada por cima, em vez de integrada.

O setor se dividiu exatamente nessa linha. OpenAI, Anthropic e Google incorporam restrições aos seus modelos durante o treinamento e estão avançando em direção à proveniência de conteúdo C2PA, uma forma criptográfica de marcar o que é gerado por IA e rastrear de onde veio. O pipeline da xAI gerava primeiro e moderava depois. A reação regulatória sugere que a segunda abordagem agora carrega risco legal real, e o risco não é hipotético. Processos já estão sendo ajuizados. Um caso federal no Distrito Norte da Califórnia acusa a xAI de usar imagens com décadas de idade de uma vítima de abuso infantil para gerar novo material abusivo, buscando indenização sob o Masha Act, que permite às vítimas recuperar pelo menos US$ 150.000 por violação. Uma ação coletiva separada movida por adolescentes do Tennessee foi ampliada para incluir a Stability AI, fabricante do modelo de imagem, como ré.

Essa exposição legal é a parte que deveria preocupar todos os laboratórios, não apenas a xAI. Se um tribunal tratar cada imagem gerada como uma violação separada, a matemática da responsabilidade se torna enorme, e não importa que o modelo em si não tenha sido o abusador. As escolhas de design que tornaram o abuso fácil se tornam a base para responsabilizar a empresa. Um "modo picante", ou qualquer recurso vendido em torno de ultrapassar limites, deixa de ser um atrativo e passa a ser evidência.

Para quem está construindo ou escolhendo uma ferramenta de imagem, as lições práticas são concretas. Observe como o modelo lida com pedidos que têm como alvo uma pessoa real e identificável. Pergunte se a segurança está no modelo ou em um filtro parafusado depois. Verifique se as saídas carregam metadados de proveniência. Veja com que rapidez uma empresa consegue remover conteúdo prejudicial depois que ele se espalha, e se existe um caminho real de denúncia. Essas perguntas deixaram de ser acadêmicas neste mês, e agora são a diferença entre um produto defensável e um que é um passivo.

A consequência mais ampla é que os reguladores encontraram um modelo. A rota do GDPR, tratando a semelhança de uma pessoa como dado biométrico, dá às autoridades europeias uma alavanca que elas não tinham antes. O Online Safety Act dá ao Reino Unido um mecanismo para de fato bloquear uma plataforma. Procuradores-gerais estaduais nos EUA mostraram que vão agir. Cada um desses é um precedente que pode ser aplicado à próxima empresa que lançar um recurso de imagem sem pensar nos abusos.

Nada disso mata a geração de imagens como tecnologia. Isso estreita o que "entregar rápido" pode significar. Da próxima vez que um laboratório anunciar um recurso de imagem com salvaguardas mínimas e uma piscadela sobre liberdade de expressão, o episódio do Grok será o estudo de caso que reguladores e autores de ações usarão. Também será o ponto de referência para as empresas que fizeram o trabalho cuidadoso, as que incorporaram segurança desde o início e agora podem apontar para um histórico em vez de um escândalo. Essa é uma mudança real, e aconteceu em questão de dias.