← Voltar ao blog
Aicerca de 7 min de leitura

Harness²: 11 pontos a mais no benchmark sem tocar nos pesos

Publicado 11 de nov. de 2026
Harness²: 11 pontos a mais no benchmark sem tocar nos pesos

Um harness, no vocabulário atual, é tudo que fica em volta do modelo e permite que ele aja: o system prompt, as ferramentas, a memória, as skills, a orquestração. Por dois anos, a forma de melhorar um agente foi melhorar o modelo. O Harness² faz outra pergunta: e se você deixar os pesos em paz e reescrever o andaime, por tarefa, automaticamente?

O Google Research publicou o paper em outubro (arXiv 2610.14224) e abriu o código sob Apache-2.0. O repositório tem cerca de 22 mil estrelas. A alegação é específica o bastante para ser discutida: um passo de recursão melhora o GLM-5 e o Gemini 3.5 Flash em relação aos harnesses de base, com ganhos de até 11,5 pontos no WorkBuddy-Bench, 4,5 pontos no JobBench e 11,8 pontos percentuais na taxa de aprovação parcial do LAB.

Sem fine-tuning. Sem modelo novo. Os pesos ficam congelados o tempo todo.

As oito coisas que ele pode mudar

O framework expõe exatamente oito componentes editáveis, e a lista é a declaração mais clara do que os autores entendem por harness:

System prompt, guardrails, memória, orientação de ferramentas, subagentes, skills, scripts, plugins.

Quatro constroem contexto. Dois definem a interface de ferramentas. Um orquestra trabalho delegado. Um controla middleware. Se você já construiu um agente e sentiu que metade do esforço ia para essas oito coisas e nada para o modelo, este repositório é a formalização do seu trabalho.

A lista de oito itens também funciona como fronteira. O Harness² não pode mudar o modelo, não pode retreiná-lo, não pode tocar nos pesos. Tudo que ele faz é texto: reescrever instruções, adicionar ou remover uma skill, mudar como um subagente é descrito, alterar qual script é chamado.

Uma parede de oficina com silhuetas de ferramentas etiquetadas, a maioria vazia, algumas com ferramentas, e uma prancheta de checklists embaixo

Como ele melhora sem rótulos

Essa é a parte que levei um tempo para aceitar, porque parece que não deveria funcionar.

O laço no nível da tarefa se chama Propose–Probe–Compose e é descrito como contrastivo. O editor de harness propõe dois tipos de edição: edições invariantes e edições de domínio. Harnesses candidatos são executados na mesma tarefa. Depois um compositor olha as diferenças de comportamento entre as execuções e monta um harness refinado a partir delas.

Note o que falta: feedback de verdade fundamental. Não há modelo de recompensa, não há rótulo humano, não há sinal de “esta resposta estava correta”. O sistema compara as próprias execuções e pergunta quais comportamentos diferem, e então mantém o harness que produziu o comportamento desejado.

Isso funciona porque a maioria das falhas de agente é visível sem rótulo. O agente chamou uma ferramenta com argumento malformado. Entrou em loop três vezes no mesmo arquivo. Escreveu um resumo mas nunca abriu o documento. Você não precisa saber a resposta certa para ver que a trajetória estava quebrada. Comparação contrastiva basta para trazer essas à tona, e um harness que deixa de produzir trajetórias quebradas pontua melhor no que o benchmark medir.

O segundo laço é o que faz disso um sistema e não um truque. Um improvement harness persistente acumula os harnesses adotados e as lições com evidência de cada tarefa, e as usa para guiar o próximo refinamento. Em outras palavras, ele fica melhor em ficar melhor, e a coisa que melhora não é o modelo.

O resultado no benchmark, e como ler

Três benchmarks: JobBench para trabalho profissional, LAB para trabalho jurídico, WorkBuddy-Bench para escritório, web e código. Quatro configurações de modelo e harness. Um passo de recursão.

Os ganhos — 11,5 pontos, 4,5 pontos, 11,8 pontos percentuais — são grandes para um método que não muda nada além de texto. Duas coisas os tornam mais críveis que a alegação típica de benchmark de agente.

Primeiro, as bases são harnesses reais, não um modelo pelado. A comparação é com OpenCode e Codex, que são andaimes competentes. Vencer um andaime competente por 11 pontos num benchmark de tarefa de escritório não é o mesmo que vencer uma chamada de chat completions.

Segundo, o paper relata que aumentar o orçamento de recursão no nível da tarefa traz ganhos adicionais. Um método que só funciona com k=1 costuma ser um truque de prompt que teve sorte. Um método que escala com orçamento está fazendo busca, e busca costuma ser real.

O que eu gostaria de ver antes de acreditar nos números absolutos: quanto do ganho sobrevive a um benchmark diferente no mesmo domínio, e quanto é o harness encontrando a rubrica do benchmark. Não é crítica aos autores. É o problema permanente de todo benchmark de agente em 2026.

O aviso de integridade de avaliação está no README

Sob “Web access”, o README diz algo que merece ser citado e não parafraseado: o acesso de rede do executor é irrestrito, o Codex roda com o sandbox desativado, e rubricas de benchmarks públicos podem estar acessíveis online. Antes da avaliação, configure restrições de rede para impedir o acesso a respostas de benchmark e critérios de correção.

É um aviso admiravelmente direto, e também uma admissão sobre o campo inteiro. Se o seu agente tem internet irrestrita e o seu benchmark tem rubricas públicas, então alguma fração do ganho medido é o agente encontrando o gabarito. Os autores sinalizam e fornecem a mitigação. A maioria dos lançamentos não faz.

Isso importa mais aqui do que de costume, porque otimização de harness é especificamente o processo de encontrar qualquer coisa que faça a nota subir. Dê a esse processo uma conexão de internet e uma rubrica pública e você construiu um localizador de rubrica muito eficiente.

O que isso muda para quem constrói agentes

Três mudanças práticas, se o método se sustentar.

O harness vira um artefato versionável. Hoje, o comportamento de um agente vive num arquivo de prompt, numa lista de ferramentas e em algumas skills, e muda quando alguém edita o prompt. O Harness² produz um harness adotado por tarefa, salvo em runs/, com notas de reflexão. É uma unidade de revisão muito melhor do que um diff num system prompt de 4.000 tokens.

A especialização por tarefa fica barata. A premissa inteira é que o harness deve ser ajustado à tarefa em questão, e não entregue como uma configuração global. Se um passo de recursão é acessível — e é, comparado a fine-tuning — então “temos um harness jurídico e um de escritório” deixa de ser decisão de arquitetura e vira decisão de runtime.

A descrição do trabalho do modelo encolhe. Se 11 pontos podem vir do andaime, então muito do que as pessoas chamam de “capacidade do modelo” em benchmarks de agente é, na verdade, qualidade de harness, e o ranking está medindo o objeto errado. É uma conclusão incômoda para quem vende modelo base, e libertadora para quem vende fluxo de trabalho.

O limite honesto

O Harness² otimiza contra um benchmark. Ele não sabe o que você quer. Se o seu benchmark é um proxy ruim para os seus usuários — e sempre é, um pouco — então a recursão vai otimizar o proxy com confiança, e você terá um agente melhor no teste e não melhor no trabalho.

Isso não é um defeito do paper. É o formato do campo inteiro agora: ficamos muito bons em medir agentes e não muito melhores em especificar o que de fato queremos que eles façam. O interessante deste lançamento é que ele torna o segundo problema impossível de ignorar. Quando o harness é uma variável sobre a qual se pode buscar, “para que o harness deve otimizar” deixa de ser questão filosófica e vira a única questão que sobra.

Artigos relacionados