Harness²: 11 puntos más en el benchmark sin tocar los pesos

Un harness, en el vocabulario actual, es todo lo que rodea al modelo y le permite actuar: el system prompt, las herramientas, la memoria, las skills, la orquestación. Durante dos años, la forma de mejorar un agente fue mejorar el modelo. Harness² hace otra pregunta: ¿y si dejas los pesos en paz y reescribes el andamiaje, por tarea, automáticamente?
Google Research publicó el paper en octubre (arXiv 2610.14224) y liberó el código bajo Apache-2.0. El repositorio tiene unas 22.000 estrellas. La afirmación es lo bastante concreta para discutirla: un paso de recursión mejora GLM-5 y Gemini 3.5 Flash respecto a sus harness base, con ganancias de hasta 11,5 puntos en WorkBuddy-Bench, 4,5 puntos en JobBench y 11,8 puntos porcentuales en la tasa de aprobación parcial de LAB.
Sin fine-tuning. Sin modelo nuevo. Los pesos permanecen congelados todo el tiempo.
Las ocho cosas que puede cambiar
El framework expone exactamente ocho componentes editables, y la lista es la declaración más clara de qué entienden los autores por harness:
System prompt, guardrails, memoria, guía de herramientas, subagentes, skills, scripts, plugins.
Cuatro construyen contexto. Dos definen la interfaz de herramientas. Uno orquesta trabajo delegado. Uno controla middleware. Si has construido un agente y has sentido que la mitad del esfuerzo se iba en estas ocho cosas y nada en el modelo, este repositorio es la formalización de tu trabajo.
La lista de ocho también funciona como frontera. Harness² no puede cambiar el modelo, no puede reentrenarlo, no puede tocar sus pesos. Todo lo que hace es texto: reescribir instrucciones, añadir o quitar una skill, cambiar cómo se describe un subagente, alterar qué script se llama.

Cómo mejora sin etiquetas
Esta es la parte que tardé en aceptar, porque suena a que no debería funcionar.
El bucle a nivel de tarea se llama Propose–Probe–Compose y se describe como contrastivo. El editor de harness propone dos tipos de edición: ediciones invariantes y ediciones de dominio. Los harness candidatos se ejecutan sobre la misma tarea. Después un compositor mira las diferencias de comportamiento entre las ejecuciones y ensambla con ellas un harness refinado.
Fíjate en lo que falta: retroalimentación de verdad de referencia. No hay modelo de recompensa, no hay etiqueta humana, no hay señal de “esta respuesta era correcta”. El sistema compara sus propias ejecuciones y pregunta qué comportamientos difieren, y luego se queda con el harness que produjo el comportamiento que quiere.
Eso funciona porque la mayoría de los fallos de un agente se ven sin etiqueta. El agente llamó a una herramienta con un argumento malformado. Entró en bucle tres veces sobre el mismo archivo. Escribió un resumen pero nunca abrió el documento. No necesitas saber la respuesta correcta para ver que la trayectoria estaba rota. La comparación contrastiva basta para sacar eso a la luz, y un harness que deja de producir trayectorias rotas puntúa mejor en lo que mida el benchmark.
El segundo bucle es el que lo convierte en sistema y no en truco. Un improvement harness persistente acumula los harness adoptados y las lecciones respaldadas por evidencia de cada tarea, y los usa para guiar el siguiente refinamiento. En otras palabras, mejora en mejorar, y lo que mejora no es el modelo.
El resultado en el benchmark, y cómo leerlo
Tres benchmarks: JobBench para trabajo profesional, LAB para trabajo jurídico, WorkBuddy-Bench para oficina, web y código. Cuatro configuraciones de modelo y harness. Un paso de recursión.
Las ganancias —11,5 puntos, 4,5 puntos, 11,8 puntos porcentuales— son grandes para un método que no cambia nada salvo texto. Dos cosas las hacen más creíbles que la típica afirmación de benchmark de agentes.
Primero, las bases son harness reales, no un modelo desnudo. La comparación es contra OpenCode y Codex, que son andamiajes competentes. Ganar 11 puntos a un andamiaje competente en un benchmark de tareas de oficina no es lo mismo que ganar a una llamada de chat completions.
Segundo, el paper reporta que aumentar el presupuesto de recursión a nivel de tarea aporta más ganancias. Un método que solo funciona con k=1 suele ser un truco de prompt con suerte. Un método que escala con el presupuesto está haciendo búsqueda, y la búsqueda suele ser real.
Lo que querría ver antes de creerme los números absolutos: cuánto de la ganancia sobrevive en otro benchmark del mismo dominio, y cuánto es el harness encontrando la rúbrica del benchmark. No es una crítica a los autores. Es el problema permanente de todo benchmark de agentes en 2026.
El aviso de integridad de evaluación está en el README
Bajo “Web access”, el README dice algo que merece citarse en vez de parafrasearse: el acceso de red del ejecutor es irrestricto, Codex corre con el sandbox desactivado y las rúbricas de benchmarks públicos pueden estar accesibles en línea. Antes de la evaluación, configura restricciones de red para impedir el acceso a respuestas de benchmark y criterios de corrección.
Es un aviso admirablemente directo, y también una admisión sobre todo el campo. Si tu agente tiene internet irrestricto y tu benchmark tiene rúbricas públicas, entonces alguna fracción de la mejora medida es el agente encontrando el solucionario. Los autores lo señalan y dan la mitigación. La mayoría de los lanzamientos no lo hace.
Importa más aquí que de costumbre, porque la optimización de harness es específicamente el proceso de encontrar lo que sea que haga subir la nota. Dale a ese proceso una conexión a internet y una rúbrica pública y has construido un buscador de rúbricas muy eficiente.
Qué cambia esto para quien construye agentes
Tres giros prácticos, si el método se sostiene.
El harness se vuelve un artefacto versionable. Hoy el comportamiento de un agente vive en un archivo de prompt, una lista de herramientas y unas pocas skills, y cambia cuando alguien edita el prompt. Harness² produce un harness adoptado por tarea, guardado en runs/, con notas de reflexión. Es una unidad de revisión mucho mejor que un diff sobre un system prompt de 4.000 tokens.
La especialización por tarea se abarata. Toda la premisa es que el harness debe ajustarse a la tarea que tiene delante, no entregarse como una configuración global. Si un paso de recursión es asequible —y lo es, comparado con el fine-tuning—, entonces “tenemos un harness jurídico y uno de oficina” deja de ser una decisión de arquitectura y pasa a ser una decisión de runtime.
La descripción del trabajo del modelo se estrecha. Si 11 puntos pueden venir del andamiaje, entonces mucho de lo que la gente llama “capacidad del modelo” en benchmarks de agentes es en realidad calidad de harness, y la clasificación está midiendo el objeto equivocado. Es una conclusión incómoda para quien vende un modelo base, y liberadora para quien vende un flujo de trabajo.
El límite honesto
Harness² optimiza contra un benchmark. No sabe qué quieres. Si tu benchmark es un mal proxy de tus usuarios —y siempre lo es, un poco—, entonces la recursión optimizará el proxy con confianza, y tendrás un agente mejor en la prueba y no mejor en el trabajo.
Eso no es un defecto del paper. Es la forma de todo el campo ahora mismo: nos hemos vuelto muy buenos midiendo agentes y no mucho mejores especificando qué queremos que hagan. Lo interesante de este lanzamiento es que hace imposible ignorar el segundo problema. Cuando el harness es una variable sobre la que se puede buscar, “para qué debe optimizar el harness” deja de ser una pregunta filosófica y se convierte en la única que queda.
Artículos relacionados
Google sacó los agentes de código del portátil, y el aviso de permiso sigue siendo el cuello de botella
La fontanería está casi resuelta. El aviso de permiso sigue siendo el cuello de botella humano.
NVIDIA libera cuatro modelos del mundo de 16B y la parte sin benchmark es el aprendizaje de políticas
NVIDIA dice que no está medido si estos modelos sirven para aprender políticas. La frase debería acompañar cualquier historia sobre modelos del mundo abiertos.
Cuatro de los repos más populares de GitHub son bibliotecas de skills, y ya hay un problema de empaquetado
La adopción va bien. El fallo interesante son cuatro formas incompatibles de instalar el mismo objeto.
Thinking Machines lanzó un modelo de 594B y dejó los pesos para la semana que viene
Un modelo fuerte, una receta documentada, una capacidad infravalorada y una fecha que el laboratorio no ha comprometido.