← Torna al blog
Aicirca 6 min di lettura

Google trasforma l'harness dell'agente in oggetto da ottimizzare, con due cicli sovrapposti

Pubblicato 14 nov 2026
Google trasforma l'harness dell'agente in oggetto da ottimizzare, con due cicli sovrapposti

L'harness è tutto ciò che sta intorno al modello e gli permette di agire: il prompt di sistema, le definizioni dei tool, la memoria, le skill, i sotto-agenti, l'orchestrazione. Mettere a punto questa disposizione è il lavoro di harnessing. Quasi tutti i team lo fanno a mano, male, in un fine settimana, e poi si fermano.

Harness Squared, pubblicato da Google Research su GitHub con 23.849 stelle, trasforma quel lavoro in un ciclo e ne aggiunge un secondo sopra.

Il paper è arXiv:2610.14224, la licenza Apache 2.0, e il repository dice chiaro che non è un prodotto supportato ufficialmente da Google. Tra gli autori ci sono Ruiyao Xu, Yanfei Chen e Tomas Pfister. Hanno costruito un framework per quello che chiamano harnessing ricorsivo di agenti in un mondo aperto, dove gli agenti incontrano task mai visti durante il progetto dell'harness.

Due ricorsioni, pesi congelati

Il modello non cambia mai. Tutto ciò che migliora sta nell'impalcatura.

Tre anelli di ottone sottilissimi si attraversano su una superficie nera opaca, con trucioli di ottone caduti dal tornio sparsi accanto.

La ricorsione a livello di task affina l'harness per il task che ha davanti. Il meccanismo è un ciclo di contrasto che gli autori chiamano Propose, Probe, Compose. Un editor propone modifiche, un esecutore fa girare candidati con quelle modifiche sullo stesso task, un compositore monta un harness rifinito dalle differenze di comportamento tra le esecuzioni.

Il dettaglio che conta: questo passo non ha bisogno di verità di riferimento. Due harness hanno eseguito lo stesso task e si sono comportati in modo diverso. Quella differenza è il segnale. Non serve sapere quale risposta fosse giusta, solo cosa è cambiato cambiando l'impalcatura.

La ricorsione a livello di harnessing sta sopra. Dopo ogni task, un riflettore di esperienza prende l'harness adottato e le lezioni che le prove sostengono, e le scrive in un harness di miglioramento persistente. Il task successivo parte da un punto migliore.

Otto pezzi che puoi modificare

Il framework espone otto componenti intorno al modello, raggruppati per ciò che fanno a runtime.

Prompt di sistema, guardrail, memoria e skill costruiscono il contesto. Linee guida per i tool e script definiscono l'interfaccia. I sotto-agenti si prendono il lavoro delegato. I plugin controllano il middleware.

La lista è familiare a chiunque abbia costruito un agente. La cosa insolita è trattare tutti e otto come spazio di ricerca. Di solito si fissano una volta all'inizio e non si toccano più.

Cosa dicono i numeri

Su tre benchmark professionali e quattro configurazioni di modello e harness, un solo passo di Harness Squared ha portato GLM-5 e Gemini 3.5 Flash sopra i rispettivi harness di base.

I guadagni: fino a 11,5 punti su WorkBuddy-Bench, 4,5 su JobBench, 11,8 punti percentuali sul tasso di superamento parziale di LAB. Aumentare il budget di ricorsione a livello di task ha dato altri guadagni, ed è il risultato che conta di più. Il meccanismo scala con il calcolo invece di saturare dopo un giro.

Vale la pena nominare i benchmark, perché spiegano perché l'harness pesa qui. JobBench copre il lavoro professionale. LAB copre il lavoro legale. WorkBuddy-Bench si divide in ufficio, web e codice. Sono task in cui un modello forte con un'impalcatura mediocre perde contro uno più debole ben attrezzato. È esattamente la condizione che l'ottimizzazione dell'harness deve sfruttare.

Come si lancia davvero

L'installazione dà per scontati Linux, Python 3.12 e uv.

uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e '.[render]'
harness2-demo --output runs/demo --k 2

Questa demo fa girare entrambe le modalità di ricorsione con editor deterministici ed esecuzione Python reale, e non chiede credenziali del modello. È il modo più veloce per vedere il ciclo prima di spendere qualcosa.

I benchmark con modello chiedono di più: Node.js 20 o superiore, la CLI di Google Cloud e dipendenze per benchmark. LAB vuole Pandoc e Poppler. WorkBuddy-Bench vuole Docker. Poi copi il file di ambiente di esempio, lo punti a un progetto Vertex AI e a degli ID di modello, e ti autentichi con le credenziali predefinite dell'applicazione.

Lanciare un benchmark sono quattro passaggi: predisporlo, controllarlo, eseguirlo, giudicarlo e stampare il report.

harness2-setup lab
harness2-check --bench lab
harness2 --bench lab --k 1 --mode parallel --only-domains antitrust-competition --max-tasks 1
harness2-judge --bench lab --k 1 --mode parallel
harness2-report --bench lab --k 1 --mode parallel

Giudizio e report devono usare lo stesso benchmark, esecutore, sottoinsieme, budget di ricorsione, modalità e seed della passata di affinamento, altrimenti i numeri non tornano. `--dry-run` mostra la selezione dei task senza chiamare un modello.

Le modalità di ricorsione sono due. Parallel sonda k candidati generali e k specifici del dominio, poi produce k composizioni dalle prove condivise. Sequential porta l'harness rifinito e le prove accumulate attraverso k passi successivi. Il riassunto del repository: parallel esplora più largo, sequential affina più a fondo.

L'avviso da leggere due volte

Il README ha una sezione sull'accesso alla rete che sembra una nota aggiunta dopo. Non lo è. L'accesso alla rete dell'esecutore è senza restrizioni e Codex gira con la sandbox disattivata. Le rubriche pubbliche dei benchmark sono forse raggiungibili online.

In altre parole, un agente in valutazione può andare a cercarsi il foglio delle risposte. Gli autori dicono di configurare restrizioni di rete prima della valutazione, per impedire l'accesso alle risposte e ai criteri di correzione. È un'ammissione schietta, ed è il genere di cosa che gonfia in silenzio i risultati dei benchmark di agenti pubblicati ovunque.

Perché l'inquadratura conta

Il lavoro sugli agenti nel 2026 si divide in due campi: modelli più grandi o impalcature artigianali più elaborate. Questo paper sostiene che l'impalcatura debba essere l'oggetto dell'ottimizzazione, e che il ciclo possa girare senza etichette.

Nella lista dei componenti c'è un argomento più silenzioso. Se otto parti dell'harness si modificano separatamente, un guadagno attribuito al prompt può venire dalla memoria, e una regressione data la colpa al modello può uscire da un guardrail aggiunto tre versioni prima. Fare harnessing a questa granularità lascia una traccia di audit che la messa a punto manuale non produce mai.

Per chi manda agenti in produzione c'è una conseguenza pratica. Non serve un dataset etichettato per migliorare l'harness sui propri task. Servono due varianti e un modo per confrontarne il comportamento.

I limiti sono altrettanto pratici. I guadagni sono misurati su benchmark professionali con rubriche pubblicate, e un harness messo a punto contro una rubrica è un harness messo a punto per quella rubrica. Se il miglioramento sopravviva a una distribuzione di task per cui nessuno ha scritto un correttore resta la domanda aperta, e il paper non sostiene il contrario.

C'è un altro vincolo nel codice, non nel testo. Il framework supporta due esecutori, OpenCode come predefinito e Codex dietro un flag, e i due non si comportano allo stesso modo. Un harness affinato contro uno è un harness affinato per quello, quindi chi confronta risultati tra laboratori deve controllare quale esecutore li ha prodotti.

I risultati finiscono sotto `runs/`, ordinati per benchmark e sottoinsieme, con gli harness adottati e le note di riflessione. Leggi quello, non il punteggio. L'harness che il sistema ha scelto di tenere è l'artefatto interessante.

Articoli correlati