O Google transforma o harness do agente em objeto de otimização e empilha dois loops

Um harness é tudo o que cerca o modelo e permite que ele aja: o prompt de sistema, as definições de ferramentas, a memória, as skills, os subagentes, a orquestração. Ajustar esse arranjo é o trabalho de harnessing. Quase todo time faz isso à mão, mal, num fim de semana, e para.
O Harness Squared, publicado pelo Google Research no GitHub com 23.849 estrelas, transforma isso num loop e acrescenta um segundo por cima.
O paper é arXiv:2610.14224, a licença é Apache 2.0, e o repositório diz sem rodeios que não é um produto com suporte oficial do Google. Entre os autores estão Ruiyao Xu, Yanfei Chen e Tomas Pfister. O que construíram é um framework para o que chamam de harnessing recursivo de agentes em mundo aberto, onde agentes encaram tarefas que ninguém viu na hora de desenhar o harness.
Duas recursões, pesos congelados
O modelo não muda nunca. Tudo o que melhora fica no andaime.

A recursão de nível de tarefa afina o harness para a tarefa que está na frente. O mecanismo é um loop de contraste que os autores chamam de Propose, Probe, Compose. Um editor propõe mudanças, um executor roda candidatos com essas mudanças na mesma tarefa, e um compositor monta um harness refinado a partir das diferenças de comportamento entre as execuções.
O detalhe que importa: esse passo não precisa de gabarito. Dois harnesses rodaram a mesma tarefa e se comportaram diferente. Essa diferença é o sinal. Não é preciso saber qual resposta estava certa, só o que mudou quando o andaime mudou.
A recursão de nível de harnessing fica acima. Depois de cada tarefa, um refletor de experiência pega o harness adotado e as lições que a evidência sustenta, e grava tudo num harness de melhoria persistente. A tarefa seguinte começa de um ponto melhor.
Oito peças que dá para editar
O framework expõe oito componentes em volta do modelo, agrupados pelo que fazem em tempo de execução.
Prompt de sistema, guardrails, memória e skills constroem contexto. Orientação de ferramentas e scripts definem a interface. Subagentes assumem o trabalho delegado. Plugins controlam o middleware.
A lista é familiar para quem já construiu um agente. O incomum é tratar as oito como espaço de busca. Normalmente a gente fixa tudo uma vez no começo e nunca mais mexe.
O que os números dizem
Em três benchmarks profissionais e quatro configurações de modelo e harness, um único passo do Harness Squared colocou GLM-5 e Gemini 3.5 Flash acima dos harnesses de base.
Os ganhos: até 11,5 pontos no WorkBuddy-Bench, 4,5 no JobBench e 11,8 pontos percentuais na taxa de aprovação parcial do LAB. Aumentar o orçamento de recursão de nível de tarefa rendeu mais ganho, e esse é o resultado que mais importa. O mecanismo escala com compute em vez de saturar depois de uma passada.
Vale nomear os benchmarks, porque eles explicam por que o harness pesa aqui. O JobBench cobre trabalho profissional. O LAB cobre trabalho jurídico. O WorkBuddy-Bench se divide em escritório, web e código. São tarefas em que um modelo forte com andaime medíocre perde para um modelo mais fraco bem equipado. É exatamente a condição que a otimização de harness deve explorar.
Como rodar de verdade
A instalação assume Linux, Python 3.12 e uv.
uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e '.[render]'
harness2-demo --output runs/demo --k 2
Essa demo roda os dois modos de recursão com editores determinísticos e execução real de Python, e não pede credencial de modelo. É o jeito mais rápido de ver o loop antes de gastar qualquer coisa.
Benchmarks com modelo pedem mais: Node.js 20 ou mais novo, a CLI do Google Cloud e dependências por benchmark. O LAB quer Pandoc e Poppler. O WorkBuddy-Bench quer Docker. Depois você copia o arquivo de ambiente de exemplo, aponta para um projeto do Vertex AI e IDs de modelo, e autentica com as credenciais padrão da aplicação.
Rodar um benchmark são quatro etapas: montar, checar, executar, julgar e emitir o relatório.
harness2-setup lab
harness2-check --bench lab
harness2 --bench lab --k 1 --mode parallel --only-domains antitrust-competition --max-tasks 1
harness2-judge --bench lab --k 1 --mode parallel
harness2-report --bench lab --k 1 --mode parallel
Julgamento e relatório precisam usar o mesmo benchmark, executor, subconjunto, orçamento de recursão, modo e seed da passada de refinamento, senão os números não batem. `--dry-run` mostra a seleção de tarefas sem chamar modelo.
Existem dois modos de recursão. Parallel sonda k candidatos gerais e k específicos de domínio, e produz k composições a partir da evidência compartilhada. Sequential carrega o harness refinado e a evidência acumulada por k passos seguidos. O resumo do repositório: parallel explora mais largo, sequential refina mais fundo.
O aviso para ler duas vezes
O README tem uma seção sobre acesso à rede que parece nota de rodapé. Não é. O acesso à rede do executor é irrestrito, e o Codex roda com o sandbox desligado. As rubricas públicas dos benchmarks talvez estejam acessíveis online.
Em outras palavras, um agente sendo avaliado pode sair procurando o gabarito. Os autores dizem para configurar restrições de rede antes da avaliação, para impedir o acesso às respostas e aos critérios de correção. É uma admissão franca, e é o tipo de coisa que infla em silêncio os resultados de benchmarks de agentes publicados por aí.
Por que o enquadramento importa
O trabalho com agentes em 2026 se divide em dois campos: modelos maiores ou andaimes artesanais mais elaborados. Este paper defende que o andaime deve ser o objeto da otimização, e que o loop pode girar sem rótulos.
Na lista de componentes há um argumento mais silencioso. Se oito partes do harness são editáveis em separado, um ganho atribuído ao prompt pode vir da memória, e uma regressão culpada no modelo pode sair de um guardrail incluído três versões atrás. Harnessing nessa granularidade deixa uma trilha de auditoria que o ajuste manual nunca produz.
Para quem roda agentes em produção há uma consequência prática. Não é preciso dataset rotulado para melhorar o harness nas suas próprias tarefas. Bastam duas variantes e um jeito de comparar o comportamento delas.
Os limites são igualmente práticos. Os ganhos são medidos em benchmarks profissionais com rubricas publicadas, e um harness afinado contra uma rubrica é um harness afinado para aquela rubrica. Se a melhoria sobrevive a uma distribuição de tarefas para a qual ninguém escreveu um corretor segue como pergunta aberta, e o paper não afirma o contrário.
Tem mais uma restrição no código, não no texto. O framework suporta dois executores, OpenCode por padrão e Codex atrás de uma flag, e os dois não se comportam igual. Um harness refinado contra um é um harness refinado para aquele, então quem compara resultados entre laboratórios precisa verificar qual executor os produziu.
Os resultados caem em `runs/`, organizados por benchmark e subconjunto, com os harnesses adotados e as notas de reflexão. Leia isso, não a pontuação. O harness que o sistema escolheu manter é a peça interessante.
Artigos relacionados
Um servidor, uma streamer de IA: dentro do código que roda uma live noturna
open-yoki é o código de produção de uma host de IA que transmite toda noite no Binance Square, sem persona, voz ou qualquer recurso que toque dinheiro. headless Chrome desenha o frame, ffmpeg empurra RTMP e uma pasta de Markdown decide o humor e o que ela publica.
O Pinky deixa um agent dirigir seu celular e segura o botão Enviar até você clicar em Permitir
O Pinky conecta qualquer agent MCP a um iPhone ou Android de verdade e aplica a aprovação no próprio gateway, não num prompt. Apps de banco são invisíveis, campos de senha estão fora de alcance e, no Android 13, o agent ganha uma segunda tela escondida.
O Cicada escuta o áudio da sua reunião direto, sem bot na sala
O Cicada é um app gratuito para Mac, Windows, Linux e Android que escreve legendas bilíngues e notas de reunião estruturadas a partir do áudio do sistema, e depois deixa você segurar uma tecla para responder no outro idioma com sua própria voz clonada. Nenhum bot entra na chamada.
O SeedRealtime da ByteDance pega dois frames por segundo e decide quando falar
O Doubao-Seed-Realtime-1.0 junta frames de câmera, frames de tela e fala numa única sessão full duplex, a no máximo dois frames por segundo. As decisões interessantes são a taxa de frames, a fala proativa e a resposta de auditoria que já vem ligada.