L'agente sempre attivo di OpenAI ha bruciato 300.000 token senza che glielo si chiedesse

Trecentomila token, zero domande poste

Test indipendenti dell'assistente sempre attivo «dot» di OpenAI hanno rilevato che ha bruciato più di 300.000 token in un solo giorno, generato 155 tracce di attività e avviato diversi sub-agenti, tutto senza una singola richiesta da parte del suo utente. Gli erano stati concessi solo permessi di sola lettura. Nessuno gli aveva chiesto di fare nulla.

Rileggi quell'ultima parte, perché è tutta la storia. L'agente non è stato ingannato, e non stava facendo nulla che gli fosse stato vietato. Era semplicemente acceso, ed essere acceso si rivela costoso.

Il conto che non hai chiesto

Ogni altro prodotto di IA sul mercato ha un confine di costo evidente. Digiti qualcosa, i token vengono spesi, e quando smetti di digitare il contatore si ferma. Il modello mentale è un taxi: costa mentre ci viaggi, e nulla quando non ci viaggi.

Un agente ambientale rompe quel modello. Somiglia meno a un taxi e più al controllo climatico di un edificio. Fa sempre qualcosa, perché essere sempre pronto richiede attività costante. Sorvegliare un innesco, controllare se le condizioni sono cambiate, decidere se la situazione merita di svegliarsi, pianificare cosa fare se lo fa. Ognuno di questi passaggi è una chiamata al modello, e ogni chiamata al modello ha un prezzo.

La scoperta scomoda qui non è che un agente abbia speso denaro. È che la spesa è avvenuta in modo invisibile e continuo, guidata dal giudizio dell'agente stesso invece che da un'istruzione umana. Non c'era nessuna sessione da terminare, perché non c'era nessuna sessione. C'era solo un processo in background che aveva opinioni su cosa valesse la pena fare.

Sola lettura non è innocuo

La seconda sorpresa è il modello dei permessi. «Sola lettura» suona sicuro. Suona come l'impostazione prudente che scegli quando vuoi essere accorto.

Ma sola lettura significa comunque «può osservare tutto». Un agente con accesso in lettura può scansionare posta, documenti, messaggi e calendari, e ogni scansione è di per sé una decisione che costa token. Peggio, l'osservazione basta a essere pericoloso in un altro modo. Un lettore sempre attivo che riassume ciò che vede è, funzionalmente, un sistema di sorveglianza. La questione se possa agire è distinta da quella di ciò che ha già appreso.

C'è anche un problema più sottile. L'accesso in lettura fornisce all'agente la materia prima per stabilire che un'azione è giustificata, e il confine tra «ho notato qualcosa» e «dovrei fare qualcosa al riguardo» è esattamente dove un sistema autonomo diventa difficile da supervisionare. Un insieme di permessi che impedisce la scrittura non impedisce all'agente di spendere moltissimo sforzo nel decidere cosa scriverebbe.

Perché più agenti peggiorano la situazione

Il dettaglio dell'avvio di più sub-agenti dovrebbe essere quello che fa alzare le sopracciglia nelle riunioni di ingegneria. Creare aiutanti è uno schema popolare proprio perché funziona. Dividi un compito, affida pezzi a lavoratori paralleli, raccogli i risultati. È così che fai gestire a un agente qualcosa di troppo grande per una singola finestra di contesto.

È anche così che rendi il costo non lineare. Un agente che decide di lanciare tre sub-agenti, ognuno dei quali decide di controllare dell'altro, non ha speso quattro volte i soldi. Ha speso quanto costa l'albero, e la forma dell'albero è stata scelta da un modello che ottimizzava per il compito invece che per il budget.

Ora moltiplica tutto questo per ogni utente che ha attivato la funzione e l'ha dimenticata. L'economia degli agenti sempre attivi non è quella delle chiamate API, dove il cliente controlla il volume. È come l'economia di una flotta che devi gestire attivamente, tranne per il fatto che la flotta decide le proprie rotte.

Il confine di sessione mancante

Gli assistenti basati su testo hanno ereditato per caso una proprietà di sicurezza utile: una conversazione finisce. Quando finisce, l'agente si ferma, il contesto viene rilasciato e i conti sono saldati. Persino un agente maleducato è limitato dal fatto che gira solo mentre qualcuno gli parla.

Gli agenti ambientali non hanno un simile confine. La promessa del prodotto è che l'assistente è sempre lì, il che significa che il processo gira sempre, il contesto è sempre vivo e le occasioni per un modello di decidere di fare qualcosa sono effettivamente continue.

Non è un difetto del design. È il design. Ma significa che la questione di sicurezza passa da «cosa può fare in un turno» a «cosa accumula nell'arco di un mese». Nessuno nel settore ha una buona risposta alla seconda domanda, e la prima è l'unica che le valutazioni esistenti sono costruite per misurare.

Come dovrebbe essere la supervisione

Se l'agente deve girare senza che glielo si chieda, allora la supervisione non può essere un controllo a livello di prompt. Deve essere strutturale, e deve essere noiosa.

Un budget rigido è il primo pezzo, e deve essere un tetto reale invece che una notifica. I limiti di spesa che ti avvisano a posteriori non sono limiti. Il secondo pezzo è un registro leggibile di ciò che l'agente ha fatto e del perché ha deciso di farlo, perché «155 tracce di attività» è un numero, e un numero non è una spiegazione. Il terzo è un valore predefinito che non sia sempre attivo. La maggior parte degli utenti della maggior parte dei prodotti non ha bisogno di un ragionamento continuo in background, e chi ne ha bisogno dovrebbe essere chi l'ha scelto.

Il pezzo più profondo è un consenso che sopravvive al contatto con la realtà. Dire a un utente in una pagina di impostazioni che l'agente può agire in background non è la stessa cosa che l'utente capisca che spenderà denaro mentre dorme. I prodotti di solito risolvono questa tensione ampliando lentamente l'ambito e sperando che nessuno se ne accorga. Quell'abitudine sembrerà molto costosa non appena gli agenti avranno un portafoglio.

La vera lezione riguarda i valori predefiniti

I risultati di dot sono facili da liquidare come una stranezza di un singolo prodotto sperimentale. Lo schema che li sottende non è affatto sperimentale. Ogni grande assistente si sta muovendo verso l'essere sempre disponibile, e ogni fornitore è sotto pressione perché sembri magico invece che misurato.

Magia e misurazione sono opposti. Più il prodotto sembra senza sforzo, più lavoro avviene fuori dalla vista, e più è difficile per un utente farsi un quadro accurato di quanto costa. Quando il contatore è nascosto, l'unico riscontro che resta è il conto, e quando lo vedi, la decisione è già stata presa diverse centinaia di migliaia di token prima.

La posizione prudente, per chiunque stia distribuendo questi sistemi ora, è trattare «quanto può spendere senza chiedere» come un parametro di progettazione di primo livello, proprio accanto a «quanto bene funziona». Il secondo è quello che i fornitori pubblicizzano. Il primo è quello che decide se il prodotto girerà ancora il trimestre prossimo.