把 27B 模型压到每个权重两个比特

把 27B 模型压到每个权重两个比特

10 月 9 日，Underdog AI 发布了 Saluki 27B，这是 Qwen 3.8 27B 模型的一个压缩版本。压缩相当激进：每个权重两个比特，把整个模型塞进一个约 7.89 GB 的文件里。Underdog 表示，结果保留了原模型约 96% 的基准测试性能，而且在工具调用任务上，它实际上还超过了完整版模型。它以 Apache 2.0 许可证发布，面向本地智能体工作流。

这些数字听起来像是打错了。把模型的位深砍到四分之一，通常要付出大量质量上的代价。Saluki 的说法是它没有，而且在智能体最看重的那项任务上，它还变得更强了。

为什么两比特量化这么难

模型权重以数字形式存储，而每个权重的比特数决定了它能保留多少精度。在 16 比特下，一个权重可以取上万个值之一。在两比特下，它只能取四个值之一。你是在要求一个建立在细微差别之上的网络，用一个几乎空无一物的词汇表来表达自己。

它通常失败的原因是误差会累积。把每个权重稍微舍入一下，这一层就偏了一点。堆叠几十个偏一点的层，输出就会远远偏离原版。大多数量化工作把四比特当作实际的下限，并接受更低比特下会有一些质量损失。

那些把比特推得更低的方法，并不是简单地更粗暴地舍入。它们会判断哪些权重可以忍受粗糙、哪些必须保持精细，而且通常会事后微调被压缩的模型来修复损伤。让两个比特稳得住，是一个细致、有针对性、而非一刀切的过程。

工具调用的结果才是有意思的部分

Saluki 在通用基准测试上与原版持平，这值得注意。它在工具调用上胜过原版就更奇怪了，而且这指向了某种真实的东西。工具调用是一项结构化任务：模型必须输出正确的函数名和参数，一点小小的不一致就会让整件事垮掉。一个稍微更嘈杂的模型可能产出稍微更多样的输出，在这种场景下，这可能意味着它在边缘情况上更少出错。

也有一个更简单的解释。如果压缩过程包含了在工具使用数据上的微调，那么得到的模型不只是更小，还在正确的方向上更专精了。专才在它的专长上可以击败通才，同时在其它方面落败。诚实的解读是，Saluki 是一个被压缩、同时也被引导向智能体工作的模型，这两个变化合在一起解释了结果。

智能密度才是这里真正重要的指标

Underdog 把这一改进称为每 GB 智能的提升，大约是原版的 7.5 倍。这种说法对本地智能体场景来说恰好准确。当你在自己的机器上跑一个模型时，约束条件不是基准分数，而是模型能否装进你的内存，并给周围的应用程序留出空间。

一个 27B 模型按完整精度跑需要相当强的硬件。同一个模型在约 8 GB 时就能在笔记本上运行，而笔记本正是大量智能体工作真正发生的地方：读文件、跑命令、查结果。压缩的价值不是审美上的，而是你能在本地跑的有能力模型与你只能租用的有能力模型之间的差别。

为什么本地智能体模型都收敛到这个尺寸

Saluki 是几款用来在大型系统内部干重复性工作的小型、开放许可模型之一。模式是一致的：参数量大约 70 亿到 300 亿，经过激进压缩，采用宽松许可，瞄准智能体的紧凑循环。

每次的逻辑都一样。一个智能体每完成一个任务要调用它的模型很多次，所以每次调用的成本和延迟主导了体验。一个小到可以在本地运行的模型，既去掉了网络往返，又去掉了按 token 计费，这改变了你能多大程度地放开来用这个智能体。你不再计较自己助手的使用量。

还有第二个更安静的理由。本地运行的模型不会把你的数据发到任何地方，这对任何处理不允许上传的代码或文档的人来说都很重要。对这类用户而言，压缩不是成本优化，而是获得一个有能力的模型的唯一途径。

用一个小文件的价值，一个数字说清

把尺寸差异具体化会有帮助。一个 270 亿参数的模型在 16 比特下，在加上任何运行时开销之前，大约占 54 GB。这装不进大多数笔记本，也装不进操作系统、浏览器和编辑器占用之后剩下的内存。在两比特下，同样的参数量落在约 8 GB，这装得下，而且能和智能体本该驱动的工具一起装下。

这就是在本地智能体场景下做低位压缩的全部理由。它不关乎让一个之前根本跑不了的模型能跑起来，虽然这也是其中一部分。它关乎让一个模型跑得足够从容，以至于智能体能反复调用它而机器毫无察觉，因为一个让整个系统变卡的智能体，是没有人会一直开着它的。

在相信之前该检查什么

压缩模型值得一种特定的怀疑。当模型在真实工作产生的冗长、杂乱的输入上退化时，那个被拿来宣传的基准成绩可能依然成立。量化损伤往往最先出现在不寻常的格式、长上下文和罕见语言上，而这些都不是一个短基准能捕捉到的。

两个比特描述的到底是什么也很重要。每个权重的位深、分组大小，以及某些层是否保持在更高精度，都会改变这个数字的含义。一种方案里的两比特和另一种方案里的两比特并不一样，而这种差别从模型卡上并不明显。

这些加起来意味着什么

前沿之争关乎任何人能训练出的最大模型。一个同样重要、并行的争论，则关乎在你的硬件上仍然好用到能派上用场的最小模型。Saluki 27B 属于第二个争论，它提出了一个具体的、可检验的主张：两个比特对智能体实际要做的工作来说足够了。

如果这个主张在基准之外也站得住脚，它就降低了个人能在本地运行的门槛，而更低的门槛通常正是下一波产品诞生的地方。模型本身不是重点，模型的缩小才是。

值得注意的是，这还是一个年轻的领域。让两比特权重能跑起来的方法仍在被书写，每一次发布既是产品，也同样是一种压缩技术的展示。Saluki 的有趣之处，与其说在于它今天是什么，不如说在于它证明了如今能塞过一根窄管道的是什么。这一系列的下一个模型会更小、更锐利，或者两者兼有，而门槛还会再次下降。