O truque novo mais popular no GitHub é falar menos

O truque novo mais popular no GitHub é falar menos

O repositório que cresce mais rápido no GitHub esta semana é um projeto em Go chamado caveman, com mais de 112.000 estrelas, e toda a sua premissa é uma piada que por acaso está correta. Seu slogan diz: por que usar muitos token quando poucos token bastam. É um skill e um proxy para agentes de programação que afirma cortar o uso de tokens em cerca de 65 por cento fazendo o modelo falar como um homem das cavernas.

Tire a piada e sobra uma afirmação real de engenharia. A maior parte do que um agente de programação envia e recebe não é informação. É andaime, cortesia, repetição e os preâmbulos educados que os modelos de linguagem fazem por padrão. Se você conseguir jogar tudo isso fora sem jogar fora o significado, a sessão fica mais barata e a janela de contexto vai mais longe.

A piada também é o diagnóstico. Quando a jogada vencedora é fazer o assistente soar mais burro, o gargalo não é a inteligência. É o custo indireto.

A conta é o contexto, não o modelo

Leva um tempo para internalizar como as cargas de trabalho dos agentes realmente ficam caras. O modelo intuitivo diz que você paga por resposta, então uma resposta longa custa mais. O modelo real é que você paga por cada token de contexto a que o modelo precisa prestar atenção, e esse contexto cresce a cada turno.

Quando um agente já leu um repositório, executou alguns comandos, viu os resultados, escreveu código e leu as mensagens de erro, a conversa é enorme. Cada novo turno arrasta todo o histórico consigo. O décimo passo custa muito mais que o primeiro, não porque o modelo ficou mais lento, mas porque está carregando mais.

É por isso que uma ferramenta que corta 65 por cento dos tokens não é uma otimização marginal. Aplicada a um agente que roda por horas, é a diferença entre uma sessão que cabe no orçamento e outra que tem de ser reiniciada no meio do caminho.

Três formas de atacar o mesmo problema

Os outros projetos na mesma onda atacam o problema por ângulos diferentes, e compará-los é instrutivo.

O Headroom, um projeto em Python que ganhou cerca de 13.000 estrelas em uma semana, chegando a cerca de 39.000, é uma camada de compressão de contexto que roda como biblioteca, proxy ou servidor MCP. Ele oferece seis algoritmos de compressão e afirma reduções de 60 a 95 por cento. A escolha de projeto importante é que ele é local em primeiro lugar e reversível, o que importa porque uma compressão que destrói informação é pior do que nenhuma compressão. Poder descomprimir significa que o agente ainda consegue recuperar o que enterrou.

O Xerj ataca um hábito específico e muito caro. É uma ferramenta em Rust que indexa código, documentos, logs e PDFs com um único comando, para que um agente possa consultar um índice estruturado em vez de queimar tokens explorando com grep e sed, aquele ciclo de buscar, ler e buscar de novo que consome uma enorme quantidade de contexto em troca de algumas linhas relevantes. O projeto afirma usar cerca de 40 vezes menos tokens que o grep e continua compatível com o Elasticsearch, então os clientes existentes seguem funcionando.

Coloque os três lado a lado e um padrão aparece. O Caveman muda como o modelo fala. O Headroom muda o que é lembrado. O Xerj muda para onde o modelo olha. Os tokens economizados são os mesmos tokens, mas a alavanca é diferente, e um conjunto de ferramentas maduro acaba precisando dos três.

Por que o truque do homem das cavernas funciona

A abordagem do homem das cavernas não deveria funcionar tão bem quanto dizem, e vale a pena entender por que funciona.

Modelos ajustados por instruções são treinados para ser úteis em um estilo específico. Eles repetem a sua pergunta antes de responder. Resumem o que acabaram de fazer. Explicam o raciocínio em frases completas, encerram com uma nota amigável e formatam tudo com cabeçalhos. Nada disso é exigido pela tarefa, e tudo isso é cobrado por token.

Se você instruir o modelo a abandonar a cortesia e manter só as palavras que sustentam o sentido, você obtém uma saída que parece tosca e transmite quase a mesma coisa. A densidade de informação sobe porque o cerimonial desaparece. É a mesma razão pela qual uma nota concisa de um engenheiro pode dizer em dez palavras mais do que uma pauta de reunião diz em cem.

O equilíbrio, porém, é real. Uma saída concisa é mais difícil de uma pessoa folhear, e uma abreviação ambígua cria mal-entendidos que custam mais do que economizam. Retirar as palavras que tornam a intenção explícita é uma aposta de que o contexto ao redor carrega significado suficiente, e essa aposta falha exatamente quando a tarefa é incomum. A compressão ajuda mais no trabalho repetitivo e prejudica mais onde as nuances importam, uma regra que vale a pena lembrar antes de aplicá-la em todo lugar.

A oferta e a procura de atenção

Há uma razão estrutural para essa categoria estar explodindo agora, e ela não tem nada a ver com qualquer repositório específico.

As janelas de contexto ficaram grandes, mas o apetite por preenchê-las também. Agentes que leem repositórios inteiros, mantêm longos históricos de tarefas e coordenam subagentes vão consumir todo o espaço que receberem, porque consumir contexto é o modo como eles fazem as coisas. Cada aumento de capacidade é absorvido em semanas, e a pressão volta.

É uma dinâmica familiar. Alargar as autoestradas não reduz o trânsito no longo prazo, porque as pessoas respondem a um trajeto mais barato se deslocando mais. Com o contexto é igual. Uma janela maior não acaba com a escassez, redefine o que conta como uso razoável, e a escassez se reafirma em um nível mais alto.

O que significa que a compressão não é um paliativo. É uma camada permanente da pilha, e os projetos que acertarem isso vão acabar numa posição parecida com a dos bancos de dados e dos caches: invisíveis, sem glamour e impossíveis de remover quando as pessoas passam a depender deles.

O que realmente observar

A contagem de estrelas é um péssimo guia aqui, porque um nome engraçado viaja mais rápido que um bom algoritmo. Três coisas valem a pena verificar antes de adotar qualquer uma delas.

A primeira é a reversibilidade. Uma compressão com perda que não pode ser desfeita torna os bugs mais difíceis de encontrar, porque o agente pode estar raciocinando a partir de um resumo que deixou cair o detalhe que importava. A segunda é onde ela se aplica. Um proxy que comprime todo o tráfego sem distinção vai acabar engolindo algo que sustenta o sentido, e a falha vai parecer uma alucinação do modelo em vez de um bug da ferramenta. A terceira é a medição. 65 por cento menos tokens é uma afirmação sobre um tipo específico de sessão, e o único número que importa é o que se mede no seu próprio tráfego.

O ponto mais profundo é que a indústria passou dois anos perseguindo capacidade e agora está descobrindo que a eficiência é onde vive a próxima rodada de vitórias práticas. O modelo que responde corretamente é o mínimo indispensável. O pipeline que responde corretamente por um décimo do custo é um produto. Caveman, Headroom e Xerj apontam todos para a mesma verdade: no trabalho com agentes, a atenção é o recurso escasso e todo o resto é escrituração.