Se il tuo agente segue lo stesso copione ogni volta, compila il copione

La maggior parte degli agenti in produzione è un modello linguistico che legge una procedura e improvvisa i passi. Qualcuno ha scritto un documento che spiega come gestire un rimborso, smistare un ticket o riconciliare una fattura, e il modello lo legge a runtime e decide cosa fare a ogni bivio.
Un paper chiamato ReTrace fa la domanda ovvia che viene dopo. Se la procedura non cambia tra un'esecuzione e l'altra, perché ogni volta è un modello a decidere i passi?
La tesi
I numeri riportati sono abbastanza specifici da poter essere contestati, ed è un buon segno. Su 79 procedure di produzione, i workflow generati da ReTrace hanno completato il 93.8% delle attività. Gli agenti originali completavano il 96.8%. I workflow compilati costano il 24% in meno per attività.
Su un altro benchmark il divario di tempo è molto più ampio: 1.3 secondi contro 170 secondi dell'agente equivalente.
Letti insieme, questi numeri disegnano la forma dello scambio. Rinunci a tre punti di completamento e ottieni un'attività che costa un quarto in meno e finisce in circa l'1% del tempo reale. Per un workflow che gira 10,000 volte al giorno, questo cambia a cosa serve quel workflow.
Come compila
Il meccanismo somiglia più all'estrazione di un programma che a scrivere prompt migliori.
Il sistema osserva un agente seguire una procedura ed estrae il ragionamento dietro ogni chiamata a uno strumento. Quei ragionamenti non vengono conservati come prosa. Le condizioni che ricorrono tra esecuzioni vengono fuse in un documento di regole compatto, e quel documento viene compilato in un workflow eseguibile: un grafo di passi, rami e chiamate a strumenti che gira senza un modello nel percorso decisionale.
Il risultato è che il giudizio del modello viene catturato una volta, in fase di build, e riusato. A runtime gira solo codice derivato da quel giudizio.
Se questo suona come l'argomento a favore della compilazione ahead-of-time rispetto all'interpretazione, è perché lo è. Un interprete è flessibile e paga la flessibilità a ogni esecuzione. Un compilatore paga una volta e poi corre veloce, e si rompe quando l'input smette di corrispondere a ciò per cui era stato compilato.
Dove finiscono i tre punti
La domanda onesta è quale 3% di attività scarti il workflow compilato, e l'impostazione del paper suggerisce che la risposta siano i casi insoliti.
Un documento di procedura copre il percorso normale e accenna alle eccezioni. Un agente che lo legge può improvvisare quando un caso non rientra: fare una domanda di chiarimento, provare un altro strumento, accorgersi che sull'account del cliente c'è un flag che cambia tutto. Un workflow compilato fa esattamente ciò per cui è stato compilato, e quando un caso esce dal documento di regole fallisce oppure fa la cosa sbagliata con molta sicurezza.
Per questo il risparmio del 24% è interessante e il 93.8% è il numero che decide l'adozione. In un workflow dove un'attività fallita viene ripetuta da una persona a $10 per caso, risparmiare il 24% di calcolo creando il 3% di escalation in più può essere una perdita netta. In un workflow dove un'attività fallita viene intercettata da un validatore a valle e ripetuta in automatico, gli stessi numeri sono soldi regalati.
Il paper non sembra scomporre i fallimenti per tipo, almeno non in quello che è disponibile. Proprio quella scomposizione serve a un team prima di portare una procedura in produzione.
Cosa dice sullo stack degli agenti
L'inquadratura che ha dominato gli ultimi due anni è che gli agenti migliorano quando migliorano i modelli. ReTrace punta su un altro asse. Una parte del lavoro degli agenti è davvero aperta e richiede un modello nel loop a ogni passo. Un'altra parte è una procedura con un albero decisionale fisso, e farci girare un modello è uno spreco di token, come chiamare un modello linguistico per fare il parsing di una data.
La parte interessante è che il confine si scopre invece di dichiararlo. Non devi decidere in anticipo quali dei tuoi workflow sono procedurali. Fai girare l'agente, guardi cosa fa, e lasci che il passo di estrazione ti dica se lo schema decisionale è abbastanza stabile da essere compilato.
Questo ha una conseguenza organizzativa. Il workflow compilato è un artefatto leggibile. Qualcuno può aprirlo e vedere le regole vere, comprese quelle che nessuno ha documentato, tipo "se il rimborso supera cinquecento, passa a una persona", che esiste solo perché l'agente l'ha dedotta dagli esempi. È una traccia di audit migliore di una trascrizione, ed è il genere di cosa che un team di compliance può approvare.
Il problema di manutenzione che nessuno ha risolto
I workflow compilati hanno una modalità di guasto che gli agenti non hanno: la deriva. Cambia la politica sui rimborsi e il grafo compilato continua a eseguire quella vecchia finché qualcuno non ricompila. Cambia lo schema di uno strumento e il workflow chiama una funzione che non accetta più quegli argomenti.
Un agente che legge un documento di procedura ha lo stesso problema in forma più lieve. Legge il documento attuale, quindi un cambio di politica si propaga all'esecuzione successiva. Legge anche lo schema attuale, quindi un parametro rinominato viene gestito. Quella adattabilità la paghi a ogni chiamata, e tutto l'argomento di ReTrace è che la stai pagando troppo.
La soluzione è ovvia e poco glamour: ricompilare al cambiamento, e trattare il documento di regole come un artefatto versionato, con lo stesso processo di revisione del codice. Se gli strumenti lo rendano facile è la differenza tra un risultato di ricerca e un prodotto.
Vale la pena provarlo?
Se fai girare a volume qualcosa che segue una procedura scritta, vale la pena fare il conto sui tuoi dati. Prendi un workflow, registra qualche centinaio di esecuzioni e guarda quanto spesso l'agente ha preso un percorso che non era nel documento. Se la risposta è quasi mai, stai pagando un modello perché faccia la parte di uno switch.
Se la risposta è spesso, la tua procedura è meno procedura di quanto pensassi, e compilarla produrrà un workflow che fallisce proprio sui casi che al tuo business interessano davvero.
Forse il contributo più utile del paper è che rende tutto questo misurabile. Per due anni la discussione sugli agenti ha riguardato la capacità, e la capacità è difficile da quantificare in denaro. ReTrace mette un prezzo su una decisione precisa: quanto vale il giudizio di un modello per passo, in dollari e in secondi. Su 79 procedure la risposta è stata 24% di calcolo in meno e 99% di latenza in meno, in cambio di tre punti di completamento. È un numero con cui un team finance può lavorare.
Il paper completo è su arXiv, e la copertura disponibile finora è scarsa sui dettagli implementativi, quindi prendi le cifre come una tesi e non come una ricetta. Però la domanda che pone è quella giusta, e ogni team che fa girare agenti su larga scala se la sentirà rivolgere presto da qualcuno con una fattura in mano.
Articoli correlati
Il consiglio si è costruito un comitato sull'export
In nove giorni il consiglio di Nvidia ha prodotto un'indagine, una presidenza e un comitato sull'export. Solo la trimestrale è finita in prima pagina.
Nvidia non ha mai costruito una seconda fila
Il problema di Nvidia non è lo scandalo, è la struttura: nessun presidente del consiglio fino alla settimana scorsa, nessun vice con mandato aziendale, nessuna successione.
Nvidia ha messo un prezzo al suo fondatore
In nove giorni Nvidia ha cambiato CEO e consiglio senza perdere un trimestre. Il mercato, intanto, ha dato un prezzo a quello che valeva un solo uomo.
Un foglio di calcolo comunitario di tocchi che spegne la pubblicità negli Android cinesi
Non tocca il sistema, non sblocca niente, non flasha niente. Ribalta solo gli interruttori che i produttori hanno già previsto. Il prezzo è una lista che qualcuno deve continuare a scrivere.