O skill de auditoria da Cloudflare recusa inventar achados

A maioria dos projetos de «scanner de segurança com IA» morre no mesmo sítio: o modelo encontra uma coisa, escreve um parágrafo confiante sobre ela, e o utilizador passa a hora seguinte a perceber que o «RCE crítico» é um fixture de teste.
A Cloudflare publicou na semana passada um skill construído exatamente para evitar esse desfecho. Chama-se security-audit, está à volta das 57 mil estrelas com cerca de 10 mil ganhas na última semana, e tem licença MIT. Também não é um scanner. É um procedimento.
O README é invulgarmente direto quanto à origem: este skill deu origem ao arnês de descoberta de vulnerabilidades descrito no blog de engenharia da própria Cloudflare, que mais tarde cresceu para um sistema multi-fase aplicado a toda a empresa. O repositório público é o ponto de partida para um único repositório, de onde aquilo evoluiu. Essa proveniência explica o tom. Ninguém escreve «falhas de defesa em profundidade não são vulnerabilidades» como regra sem já ter recebido um relatório cheio delas.
Seis fases, um registo
O fluxo corre numa ordem fixa, e cada fase escreve artefactos que podem ser inspecionados.
A primeira fase é reconhecimento. O agente mapeia arquitetura, fronteiras de confiança, superfícies de entrada e evidência anterior em architecture.md, e começa um coverage-ledger.json. Esse registo é a espinha de tudo: é uma lista de unidades que precisam de ser cobertas, validada por um script sem dependências logo após a criação e depois de cada atualização.
A segunda fase é a caça guiada pela cobertura. Caçadores isolados recebem atribuições a partir do registo, anotam o que verificaram, e críticos de cobertura procuram lacunas. A terceira fase entrega cada candidato único a um verificador novo, cujo trabalho é refutá-lo. A quarta escreve três veredictos em findings.json e valida contra um esquema JSON. A quinta põe agentes novos a reverificar as afirmações finais sobre o código-fonte. A sexta deriva os relatórios legíveis a partir dos registos já verificados.

Os três veredictos são o desenho interessante
Cada achado cai num de três baldes, e as definições são estritas.
confirmed significa um rasto completo até ao código-fonte mais um resultado observado e delimitado. needs_validation significa um facto exato por resolver, sem severidade associada. rejected regista um candidato que foi refutado.
É o balde do meio que a maioria das ferramentas não tem, e é ele que torna o resultado utilizável. Uma pista bloqueada com «não conseguimos executar isto porque a sandbox não estava disponível, e aqui está a pergunta precisa que fica em aberto» vale mais do que um crítico falso. O skill impõe isto mecanicamente: sem uma sandbox aplicada pelo sistema operativo, o fluxo mantém a pista em needs_validation em vez de correr código do alvo.
A outra regra que importa é organizacional, não técnica. O agente que verifica um achado nunca é o agente que o encontrou. Validação adversarial, nas palavras do README. Quem já viu um modelo racionalizar uma afirmação sua de dois minutos antes entende porque é que isto não é opcional.
Instalar é um comando, e essa é a parte fácil
npx skills add https://github.com/cloudflare/security-audit-skill --skill security-audit
Acrescente --global para uma instalação ao nível do utilizador. Depois abra o seu agente de programação no repositório que quer auditar e diga algo como:
security audit this codebase
ou
do a security review, output to ~/audits/my-project
O skill ativa-se com pedidos compatíveis. Um pedido direto de auditoria ou de pentest corre o modo completo; uma pergunta sobre segurança corre um modo de orientação, a menos que se peçam artefactos. Sem diretório de saída indicado, os resultados vão para ~/security-audit-skill/<repo-name>/run-<N>, e só escreve dentro do repositório alvo se for escolhido explicitamente um diretório que o controlo de versões ignora.
Depois vem o requisito que ninguém lê até começar a doer. É preciso um agente de programação cujo modelo suporte uso de ferramentas e subagentes em paralelo, Node para os validadores, e uma sandbox aplicada pelo sistema operativo que desligue a rede externa, use um ambiente saneado e com lista de permissões, imponha limites de recursos e só permita escrita em caminhos temporários atribuídos.
Essa última cláusula é o produto todo. Sem ela o skill ainda funciona, mas degrada-se num exercício de leitura, porque não vai compilar, testar, fazer fuzzing nem executar nada do alvo. Para um programador sozinho num portátil, montar essa sandbox é uma tarde de trabalho a sério. Para uma equipa de plataforma que já tem um arnês de contentores, encaixa sem esforço.
Como delimitar uma execução sem perder um dia
O skill audita alegremente um repositório inteiro, o que é o primeiro passo errado. Aponte-o para um serviço ou um diretório, e aponte-o para a parte do código onde um erro do atacante sai mais caro: o parser de pedidos, o middleware de autenticação, o caminho de upload de ficheiros, a coisa que fala com os dados de um segundo inquilino.
Depois leia o registo de cobertura antes de ler os achados. Se o registo for magro, os achados são magros, e nenhuma quantidade de prosa no REPORT.md corrige isso. O registo é o único artefacto de todo o fluxo que diz o que não foi olhado, e «não foi olhado» é o que dá origem a intrusões.
Reserve também orçamento para a segunda passagem. O desenho assume que execuções repetidas acrescentam cobertura, e a leitura honesta dos números da própria Cloudflare é que a primeira passagem dá cerca de metade. Se só correr isto uma vez, está a pagar o preço completo por meio resultado.
Aquilo em que é realmente bom
A lista de ficheiros mostra onde está a profundidade. Há documentos por classe de caça para segurança de memória e binários, para injeção de prompt e tratamento de agentes e ferramentas, para estruturação de pedidos HTTP e protocolos de autenticação, para injeção no DOM e poluição de protótipos, para cadeia de abastecimento e assinatura de releases, para configuração de IAM, contentores e serverless, para RPC, filas e webhooks, para exaustão de recursos, para isolamento entre inquilinos e ciclo de vida de dados, e para IPC local em desktop e mobile.
Dez domínios, cada um com o seu pacote de prompts. É uma estrutura bem mais honesta do que um preâmbulo único do género «és um especialista em segurança», porque deixa o agente carregar as classes que se ajustam ao alvo em vez de alucinar cobertura em todas.
Há também uma resposta explícita à pergunta óbvia, que é: uma passagem não chega. Nos testes da própria Cloudflare, uma execução isolada encontrou cerca de metade das vulnerabilidades que execuções repetidas encontraram no total. Por isso o skill foi desenhado para ser cumulativo: as execuções seguintes leem o registo e os achados anteriores, atacam as lacunas, revalidam o código que mudou e recusam tratar trabalho desatualizado ou por resolver como coberto.
Onde eu discordaria
Duas coisas.
Primeiro, os registos de cobertura podem transformar-se em papelada. Um caçador obrigado a justificar cada unidade que verificou acaba, mais cedo ou mais tarde, a escrever verificações que satisfazem o registo em vez de satisfazerem o código. Os scripts de validação provam que o JSON está bem formado. Não provam que a caça foi honesta.
Segundo, a estrutura em seis fases custa caro. Seis fases, caçadores isolados, verificadores novos, reverificação independente de cada substituição material — num repositório de tamanho médio isso é muito token e muito relógio. O README é frontal ao dizer que a severidade deve vir da probabilidade vezes o impacto e não do desvio a uma checklist, mas o processo em si é uma checklist, e correr isto num serviço de 40 mil linhas antes de um lançamento não é realista.
A minha leitura: use como a Cloudflare usa. Não como um portão a passar em cada commit, mas como uma passagem profunda agendada sobre as partes do sistema onde estar errado sai caro, com a sandbox no lugar para que os achados possam ser observados em vez de teorizados.
O nível que isto estabelece não é «encontra bugs». É «recusa mentir sobre os que não conseguiu provar». É um nível mais baixo do que parece, e quase nada nesta categoria o alcança.
Artigos relacionados
Uma planilha comunitária de toques que desliga os anúncios dos Android chineses
Não mexe no sistema, não desbloqueia nada, não faz flash de nada. Só vira os botões que os fabricantes já deixaram à mostra. O preço é uma lista que alguém precisa continuar escrevendo.
GPT Image 2.6 manteve o preço por token e elevou a fatura
O GPT Image 2.6 mantém cada tarifa por token do 2.5 e mesmo assim custa mais por imagem, porque boa parte do trabalho acontece agora nos tokens de saída. Onze dias após o lançamento, a estrutura de preços diz mais que o ranking.
Alguém reconstruiu o IDM por fora e anotou o que não tocou
Uma reimplementação em Rust do Internet Download Manager promete 5 vezes a velocidade e 86 idiomas. O documento mais interessante é o parágrafo que explica como ela foi feita sem copiar nada.
Rune é um framework de UI em Rust feito para que um agente possa verificar o próprio trabalho
Rune renderiza sem interface, despeja sua árvore de elementos e aceita entrada roteirizada, o que dá a um agente de código um sinal diffável que um screenshot nunca oferece. O framework está em pré-lançamento e não aceita pull requests.