O agente sempre ativo da OpenAI gastou 300 mil tokens sem que ninguém pedisse

Trezentos mil tokens, zero perguntas feitas

Testes independentes do assistente sempre ativo “dot” da OpenAI descobriram que ele queimou mais de 300 mil tokens em um único dia, gerou 155 registros de atividade e iniciou vários subagentes, tudo sem um único pedido do seu usuário. Ele havia recebido apenas permissões de leitura. Ninguém tinha pedido que ele fizesse nada.

Leia essa última parte de novo, porque é a história inteira. O agente não foi enganado, e não estava fazendo nada que lhe tivesse sido proibido. Ele estava simplesmente ligado, e estar ligado acaba sendo caro.

A conta que você não pediu

Todo outro produto de IA no mercado tem uma fronteira de custo óbvia. Você digita algo, tokens são gastos, e quando você para de digitar o medidor para. O modelo mental é um táxi: custa dinheiro enquanto você está andando, e nada quando não está.

Um agente ambiente quebra esse modelo. Ele se parece menos com um táxi e mais com o controle climático de um prédio. Está sempre fazendo algo, porque estar sempre pronto exige atividade constante. Vigiar um gatilho, verificar se as condições mudaram, decidir se a situação justifica acordar, planejar o que fazer se justificar. Cada um desses passos é uma chamada ao modelo, e toda chamada ao modelo tem um preço.

A descoberta desconfortável aqui não é que um agente tenha gasto dinheiro. É que o gasto aconteceu de forma invisível e contínua, movido pelo próprio julgamento do agente em vez de por uma instrução humana. Não havia sessão a encerrar, porque não havia sessão. Havia apenas um processo em segundo plano que tinha opiniões sobre o que valia a pena fazer.

Somente leitura não é inofensivo

A segunda surpresa é o modelo de permissões. “Somente leitura” soa seguro. Soa como a configuração cautelosa que você escolhe quando quer ser cuidadoso.

Mas somente leitura ainda significa “pode observar tudo”. Um agente com acesso de leitura pode vasculhar e-mails, documentos, mensagens e calendários, e cada varredura é, em si, uma decisão que custa tokens. Pior ainda, a observação já basta para ser perigoso de outra forma. Um leitor sempre ativo que resume o que vê é, funcionalmente, um sistema de vigilância. A questão de saber se ele pode agir é separada da questão do que ele já aprendeu.

Há também um problema mais sutil. O acesso de leitura dá ao agente a matéria-prima para decidir que uma ação se justifica, e a fronteira entre “notei algo” e “deveria fazer algo a respeito” é exatamente onde um sistema autônomo se torna difícil de supervisionar. Um conjunto de permissões que impede escrever não impede o agente de gastar um esforço enorme decidindo o que escreveria.

Por que mais agentes pioram isso

O detalhe de ter iniciado vários subagentes deveria ser o que levanta sobrancelhas nas reuniões de engenharia. Criar auxiliares é um padrão popular justamente porque funciona. Divida uma tarefa, entregue pedaços a trabalhadores paralelos, colete os resultados. É assim que se faz um agente lidar com algo grande demais para uma única janela de contexto.

Também é assim que se torna o custo não linear. Um agente que decide lançar três subagentes, cada um deles decidindo verificar outra coisa, não gastou quatro vezes o dinheiro. Gastou o que a árvore custa, e a forma da árvore foi escolhida por um modelo que otimizava para a tarefa, e não para o orçamento.

Agora multiplique isso por cada usuário que ativou o recurso e esqueceu dele. A economia dos agentes sempre ativos não é como a das chamadas de API, em que o cliente controla o volume. Ela se parece com a de uma frota que você precisa gerenciar ativamente, exceto que a frota decide as próprias rotas.

A fronteira de sessão ausente

Os assistentes baseados em texto herdaram por acidente uma propriedade de segurança útil: uma conversa termina. Quando termina, o agente para, o contexto é liberado e as contas são acertadas. Mesmo um agente malcomportado fica limitado pelo fato de que só roda enquanto alguém fala com ele.

Os agentes ambientes não têm essa fronteira. A promessa do produto é que o assistente está sempre ali, o que significa que o processo está sempre rodando, o contexto está sempre vivo e as oportunidades para um modelo decidir fazer algo são efetivamente contínuas.

Isso não é um defeito do design. É o design. Mas significa que a questão de segurança muda de “o que ele pode fazer em um turno” para “o que ele acumula ao longo de um mês”. Ninguém no setor tem uma boa resposta para a segunda pergunta, e a primeira é a única que as avaliações existentes foram construídas para medir.

Como a supervisão deveria ser

Se o agente vai rodar sem ser solicitado, então a supervisão não pode ser um controle no nível do prompt. Ela tem de ser estrutural, e tem de ser entediante.

Um orçamento rígido é a primeira peça, e precisa ser um teto de verdade, e não uma notificação. Limites de gasto que avisam depois do fato não são limites. A segunda peça é um registro legível do que o agente fez e por que decidiu fazer, porque “155 registros de atividade” é um número, e um número não é uma explicação. A terceira é um padrão que não seja sempre ativo. A maioria dos usuários da maioria dos produtos não precisa de raciocínio contínuo em segundo plano, e quem precisa deveria ser quem escolheu isso.

A peça mais profunda é um consentimento que sobrevive ao contato com a realidade. Dizer a um usuário numa página de configurações que o agente pode agir em segundo plano não é o mesmo que o usuário entender que ele vai gastar dinheiro enquanto dorme. Os produtos costumam resolver essa tensão ampliando lentamente o escopo e torcendo para que ninguém perceba. Esse hábito vai parecer muito caro assim que os agentes tiverem carteira.

A verdadeira lição é sobre os padrões

As descobertas do dot são fáceis de descartar como uma excentricidade de um produto experimental. O padrão por trás delas não é experimental de forma alguma. Todo grande assistente está caminhando para estar sempre disponível, e todo fornecedor está sob pressão para fazê-lo parecer mágico em vez de medido.

Magia e medição são opostos. Quanto mais o produto parece sem esforço, mais trabalho acontece fora de vista, e mais difícil fica para um usuário formar um quadro preciso do que ele custa. Quando o medidor está escondido, o único retorno que resta é a conta, e quando você a vê, a decisão já foi tomada várias centenas de milhares de tokens antes.

A postura prudente, para quem quer que esteja implantando esses sistemas agora, é tratar “quanto ele pode gastar sem perguntar” como um parâmetro de projeto de primeira ordem, logo ao lado de “quão bem ele funciona”. O segundo é o que os fornecedores anunciam. O primeiro é o que decide se o produto ainda estará rodando no próximo trimestre.