GitHub 上最火的新技巧，就是少说话

GitHub 上最火的新技巧，就是少说话

本周 GitHub 上增长最快的仓库是一个名为 caveman 的 Go 项目，星标数已超过 112,000，而它的整个立论就是一个恰好成立的玩笑。它的标语写道：能用几个词说清，何必堆一堆词。它是一个供编码智能体使用的 skill 和代理，声称通过让模型像原始人一样说话，可以把 token 用量削减约 65%。

把这个梗拿掉，剩下的是一个真正的工程主张。编码智能体来回发送的内容，大部分并不是信息，而是脚手架、客套、复述，以及语言模型默认会做的那些礼貌性铺垫。如果你能在不丢掉含义的前提下把这些扔掉，会话就会变便宜，上下文窗口也能撑得更久。

这个玩笑同时也是诊断。当制胜之举是让助手听起来更笨，瓶颈就不在智能，而在开销。

账单是上下文，不是模型

要真正体会到智能体工作负载是怎么变贵的，需要一点时间。直觉上的模型是：按答案付费，所以答案越长越贵。真实的模型是：你为模型必须关注的每一个上下文 token 付费，而这个上下文会随着每一轮对话增长。

等智能体读完一个仓库、跑了几条命令、看了结果、写了一些代码、读了报错信息之后，这段对话已经非常庞大了。每开始新的一轮，都要把整段历史拖着走。第十步远比第一步贵，不是因为模型变慢了，而是因为它背的东西更多了。

这就是为什么一个能砍掉 65% token 的工具不是可有可无的优化。用在跑好几个小时的智能体上，它就是会话还在预算之内与会话跑到一半就得重启之间的差别。

攻同一个问题的三种方式

搭上同一波浪潮的其他项目，从不同角度攻击这个问题，把它们放在一起比较很有启发。

Headroom 是一个 Python 项目，一周内涨了大约 13,000 星，达到约 39,000，它是一个上下文压缩层，可以作为库、代理或 MCP 服务器运行。它提供六种压缩算法，并声称能减少 60% 到 95%。重要的设计选择在于它本地优先且可逆，这一点很关键，因为破坏信息的压缩比不压缩更糟。可以解压意味着智能体仍然能取回它埋掉的东西。

Xerj 针对的是一个具体且非常昂贵的习惯。它是一个 Rust 工具，用一条命令就能给代码、文档、日志和 PDF 建立索引，这样智能体就可以查询一个结构化索引，而不是把 token 烧在 grep 和 sed 探索上，也就是那种搜索、读取、再搜索的循环，用大量上下文换来那么几行相关代码。该项目声称比 grep 少用大约 40 倍的 token，并且保持与 Elasticsearch 兼容，所以现有的客户端仍然能继续用。

把三者并排放在一起，一个规律就浮现出来。Caveman 改变的是模型怎么说话。Headroom 改变的是什么被记住。Xerj 改变的是模型往哪看。省下的 token 是同一批 token，但撬动它的杠杆不同，而成熟的工具链最终三样都需要。

原始人这招为什么居然管用

按理说，原始人这套做法不该像人们说得那么有效，但值得弄明白它为什么确实有效。

经过指令微调的模型被训练成以一种特定风格来提供帮助。它们会先复述你的问题再作答，会总结自己刚刚做了什么，会用完整的句子解释推理过程，会用一句友好话收尾，还会给所有内容加上标题格式。这些都不是任务要求的，却全都要按 token 计费。

如果你指示模型丢掉客套、只保留承重的词，你得到的输出看起来粗糙，传达的意思却几乎一样。信息密度变高了，因为那些仪式性的东西没了。这跟工程师简短笔记的道理一样：十个字可能比一份一百字的会议议程说得还多。

不过这个权衡是真实存在的。简洁的输出让人更难快速扫读，含糊的简写会造成误解，代价比它省下的还大。把那些让意图变明确的词删掉，是在赌周围上下文能承载足够多的含义，而这个赌注恰恰会在任务不寻常时输掉。压缩在重复性工作上最有用，在微妙之处最有害，这是把它到处套用之前值得记住的一条规律。

注意力的供给与需求

这一类工具此刻爆发，有一个结构性的原因，而且它与任何一个具体仓库无关。

上下文窗口变大了，但填满它们的胃口也变大了。那些要读整个仓库、维持很长任务历史、协调子智能体的智能体，会给多少空间就吃掉多少空间，因为消耗上下文正是它们完成任务的方式。每一次容量提升都会在几周内被吸收殆尽，然后压力又回来了。

这是一种熟悉的动态。把高速公路修得更宽，长期来看并不会减少车流，因为人们会以多开车来回应更便宜的通行。上下文也是一样。更大的窗口并不会终结短缺，它只是重新定义了什么叫合理使用量，而短缺会在更高水平上重新显现。

这意味着压缩不是权宜之计，而是技术栈中永久的一层；把它做对的项目，最终会处在类似数据库和缓存的位置：不起眼、不性感，而一旦人们依赖上它，就再也拿不掉。

真正该关注什么

在这里，星标数是糟糕的指引，因为一个好玩的名称跑得比一个好算法快。在采用其中任何一个之前，有三件事值得核实。

第一是可逆性。无法撤销的有损压缩会让 bug 更难排查，因为智能体可能正基于一份丢掉了关键细节的摘要进行推理。第二是适用范围。一个不加区分地压缩所有流量的代理，迟早会吃掉某个承重的东西，而这种故障看起来会像模型幻觉，而不是工具 bug。第三是测量。少了 65% token 是关于某一类会话的说法，唯一有意义的数字是在你自己的流量上测出来的那个。

更深的一点是，这个行业花两年追逐能力，如今才发现在效率里藏着下一轮实用性的胜利。答对的模型只是入场券。用十分之一的成本答对的流水线才是一个产品。Caveman、Headroom 和 Xerj 都指向同一个事实：在智能体的工作中，注意力才是稀缺资源，其他一切都是记账。