← Torna al blog
Aicirca 6 min di lettura

Harness²: migliorare l'agente senza toccare il modello

Pubblicato 11 nov 2026
Harness²: migliorare l'agente senza toccare il modello

Un harness, nel vocabolario attuale, è tutto ciò che sta attorno al modello e gli permette di agire: il system prompt, i tool, la memoria, le skill, l'orchestrazione. Per due anni il modo per migliorare un agente è stato migliorare il modello. Harness² pone una domanda diversa: e se lasciassi stare i pesi e riscrivessi l'impalcatura, per singolo compito, in automatico?

Google Research ha pubblicato il paper in ottobre (arXiv 2610.14224) e ha aperto il codice con licenza Apache-2.0. Il repository ha circa 22.000 stelle. L'affermazione è abbastanza specifica da poterla contestare: un passo di ricorsione migliora GLM-5 e Gemini 3.5 Flash rispetto ai loro harness di base, con guadagni fino a 11,5 punti su WorkBuddy-Bench, 4,5 punti su JobBench e 11,8 punti percentuali sul tasso di passaggio parziale di LAB.

Nessun fine-tuning. Nessun modello nuovo. I pesi restano congelati per tutto il tempo.

Le otto cose che può cambiare

Il framework espone esattamente otto componenti modificabili, e la lista è la dichiarazione più chiara di cosa gli autori intendano per harness:

System prompt, guardrail, memoria, indicazioni sui tool, subagenti, skill, script, plugin.

Quattro costruiscono il contesto. Due definiscono l'interfaccia dei tool. Uno orchestra il lavoro delegato. Uno controlla il middleware. Se hai costruito un agente e hai avuto la sensazione che metà del tuo lavoro finisse in queste otto cose e niente nel modello, questo repository è la formalizzazione del tuo mestiere.

La lista di otto voci funziona anche come confine. Harness² non può cambiare il modello, non può riaddestrarlo, non può toccarne i pesi. Tutto quello che fa è testo: riscrivere istruzioni, aggiungere o togliere una skill, cambiare come è descritto un subagente, alterare quale script viene chiamato.

Una parete da officina con sagome di attrezzi etichettate, quasi tutte vuote, alcune con l'attrezzo dentro, e sotto una cartellina con liste di controllo

Come migliora senza etichette

Questa è la parte che mi ci è voluto un po' per accettare, perché sembra qualcosa che non dovrebbe funzionare.

Il loop a livello di compito si chiama Propose–Probe–Compose ed è descritto come contrastivo. L'editor di harness propone due tipi di modifiche: modifiche invarianti e modifiche di dominio. Gli harness candidati vengono eseguiti sullo stesso compito. Poi un composer guarda le differenze di comportamento fra le esecuzioni e assembla da quelle un harness raffinato.

Nota cosa manca: il feedback di verità. Non c'è un reward model, non c'è un'etichetta umana, non c'è un segnale «questa risposta era corretta». Il sistema confronta le proprie esecuzioni e chiede quali comportamenti differiscono, poi tiene l'harness che ha prodotto il comportamento che vuole.

Funziona perché la maggior parte dei fallimenti di un agente è visibile senza etichetta. L'agente ha chiamato un tool con un argomento malformato. Ha girato tre volte sullo stesso file. Ha scritto un riassunto ma non ha mai aperto il documento. Non ti serve sapere la risposta giusta per vedere che la traiettoria era rotta. Il confronto contrastivo basta a farle emergere, e un harness che smette di produrre traiettorie rotte ottiene un punteggio migliore su qualunque cosa il benchmark misuri.

Il secondo loop è quello che lo rende un sistema e non un trucco. Un improvement harness persistente accumula gli harness adottati e le lezioni supportate da evidenza di ogni compito, e li usa per guidare il raffinamento successivo. In altre parole, diventa più bravo a diventare più bravo, e la cosa che migliora non è il modello.

Il risultato sul benchmark, e come leggerlo

Tre benchmark: JobBench per il lavoro professionale, LAB per il lavoro legale, WorkBuddy-Bench per ufficio, web e codice. Quattro configurazioni modello–harness. Un passo di ricorsione.

I guadagni — 11,5 punti, 4,5 punti, 11,8 punti percentuali — sono grandi per un metodo che non cambia nient'altro che testo. Due cose li rendono più credibili della solita affermazione sugli agent benchmark.

Primo, le baseline sono harness veri, non un modello nudo. Il confronto è con OpenCode e Codex, che sono impalcature competenti. Battere un'impalcatura competente di 11 punti su un benchmark di compiti d'ufficio non è come battere una chiamata a chat completions.

Secondo, il paper riporta che aumentare il budget di ricorsione a livello di compito porta guadagni ulteriori. Un metodo che funziona solo con k=1 di solito è un trucco di prompt che è andato bene. Un metodo che scala con il budget sta facendo ricerca, e la ricerca tende a essere reale.

Quello che vorrei sapere prima di credere ai numeri assoluti: quanto del guadagno sopravvive su un benchmark diverso nello stesso dominio, e quanto è l'harness che trova la rubrica di valutazione del benchmark. Non è una critica agli autori. È il problema permanente di ogni benchmark per agenti nel 2026.

L'avvertenza sull'integrità delle eval è nel README

Alla voce «Web access», il README dice una cosa che merita di essere citata invece che parafrasata: l'accesso di rete dell'executor non è limitato, Codex gira con la sandbox disabilitata, e le rubriche dei benchmark pubblici possono essere raggiungibili online. Prima della valutazione, configurare restrizioni di rete per impedire l'accesso alle risposte dei benchmark e ai criteri di valutazione.

È un'avvertenza ammirevolmente diretta, ed è anche un'ammissione su tutto il settore. Se il tuo agente ha internet senza restrizioni e il tuo benchmark ha rubriche pubbliche, allora una frazione del miglioramento che misuri è l'agente che trova il foglio delle risposte. Gli autori lo segnalano e forniscono la mitigazione. La maggior parte dei rilasci non lo fa.

Qui conta più del solito, perché l'ottimizzazione dell'harness è precisamente il processo di trovare qualsiasi cosa faccia salire il punteggio. Dai a quel processo una connessione a internet e una rubrica pubblica e hai costruito un cercatore di rubriche molto efficiente.

Cosa cambia per chi costruisce agenti

Tre svolte pratiche, se il metodo regge.

L'harness diventa un artefatto da versionare. Oggi il comportamento di un agente vive in un file di prompt, una lista di tool e qualche skill, e cambia quando qualcuno modifica il prompt. Harness² produce un harness adottato per compito, salvato sotto runs/, con note di riflessione. È un'unità di revisione molto migliore di un diff su un system prompt da 4.000 token.

La specializzazione per compito diventa economica. La premessa è che l'harness vada tarato sul compito che ha davanti, non spedito come configurazione globale unica. Se un passo di ricorsione è sostenibile — e lo è, rispetto al fine-tuning — allora «abbiamo un harness legale e uno d'ufficio» smette di essere una decisione di architettura e diventa una decisione a runtime.

La descrizione del lavoro del modello si restringe. Se 11 punti possono arrivare dall'impalcatura, allora molto di quello che la gente chiama «capacità del modello» sui benchmark per agenti è in realtà qualità dell'harness, e la leaderboard sta misurando l'oggetto sbagliato. È una conclusione scomoda per chi ha come prodotto un modello di base, e liberatoria per chi ha come prodotto un workflow.

Il limite onesto

Harness² ottimizza contro un benchmark. Non sa cosa vuoi tu. Se il tuo benchmark è un proxy povero dei tuoi utenti — e lo è sempre, un po' — allora la ricorsione ottimizzerà con sicurezza il proxy, e otterrai un agente più bravo nel test e non più bravo nel lavoro.

Non è un difetto del paper. È la forma di tutto il settore in questo momento: siamo diventati molto bravi a misurare gli agenti e non molto migliori a specificare cosa vogliamo davvero che facciano. La cosa interessante di questo rilascio è che rende il secondo problema impossibile da ignorare. Una volta che l'harness è una variabile su cui puoi fare ricerca, «su cosa deve ottimizzare l'harness» smette di essere una domanda filosofica e diventa l'unica domanda che resta.

Articoli correlati