Um modelo 27B comprimido para dois bits por peso

Um modelo 27B comprimido para dois bits por peso

Em 9 de outubro, a Underdog AI lançou o Saluki 27B, uma versão comprimida do modelo Qwen 3.8 27B. A compressão é agressiva: dois bits por peso, o que enfia tudo num arquivo de cerca de 7,89 gigabytes. Segundo a Underdog, o resultado mantém cerca de 96 por cento do desempenho do original nos benchmarks, e em tarefas de chamada de ferramentas ele na verdade supera o modelo de tamanho completo. Ele sai sob licença Apache 2.0 para fluxos de trabalho de agentes locais.

Os números parecem erro de digitação. Reduzir um modelo a um quarto da sua profundidade de bits costuma custar muita qualidade. A afirmação da Saluki é que não foi o caso, e que na única tarefa que mais importa para agentes, ele ficou melhor.

Por que a quantização em dois bits é difícil

Os pesos de um modelo são armazenados como números, e o número de bits por peso define quanta precisão cada um mantém. Em 16 bits, um peso pode assumir um entre dezenas de milhares de valores. Em dois bits, pode assumir um entre quatro. Você está pedindo a uma rede construída sobre distinções finas que se expresse com um vocabulário quase inexistente.

O motivo pelo qual costuma falhar é que os erros se acumulam. Arredonde cada peso um pouco e a camada fica levemente fora do lugar. Empilhe dezenas de camadas levemente fora do lugar e a saída se afasta muito do original. A maior parte do trabalho de quantização trata quatro bits como piso prático e aceita alguma perda de qualidade abaixo disso.

Os métodos que descem mais não arredondam simplesmente com mais força. Eles decidem quais pesos podem se dar ao luxo de ser grosseiros e quais precisam continuar nítidos, e muitas vezes ajustam o modelo comprimido depois para reparar o dano. Fazer dois bits se sustentarem é um processo cuidadoso e direcionado, não um processo bruto.

O resultado em chamada de ferramentas é a parte interessante

Que o Saluki iguale o original nos benchmarks gerais é notável. Que ele supere o original em chamada de ferramentas é mais estranho, e aponta para algo real. A chamada de ferramentas é uma tarefa estruturada: o modelo precisa emitir um nome de função e argumentos corretos, e pequenas inconsistências quebram tudo. Um modelo um pouco mais ruidoso pode produzir uma saída um pouco mais variada, o que nesse contexto pode significar que ele tropeça menos em casos extremos.

Há também uma explicação mais simples. Se o processo de compressão incluiu ajuste fino com dados de uso de ferramentas, o modelo resultante não é apenas menor, mas também mais estreito na direção certa. Um especialista pode vencer um generalista na sua especialidade e perder em todo o resto. A leitura honesta é que o Saluki é um modelo comprimido que também foi direcionado para o trabalho de agente, e as duas mudanças juntas explicam o resultado.

Densidade de inteligência é a métrica que importa aqui

A Underdog enquadra a melhoria como um ganho de inteligência por gigabyte, cerca de 7,5 vezes o original. Esse enquadramento é exatamente o certo para o caso do agente local. Quando você roda um modelo na sua própria máquina, a restrição não é a pontuação do benchmark. É se o modelo cabe na sua memória e deixa espaço para as aplicações ao redor.

Um modelo 27B em precisão total exige hardware sério. O mesmo modelo com cerca de oito gigabytes roda num notebook, e é num notebook que boa parte do trabalho de agente realmente acontece: ler arquivos, rodar comandos, conferir resultados. O valor da compressão não é estético. É a diferença entre um modelo capaz que você pode rodar localmente e um modelo capaz que você só pode alugar.

Por que os modelos de agente locais convergem para esse tamanho

O Saluki é um de vários modelos pequenos, com licença aberta, que aparecem para fazer o trabalho repetitivo dentro de sistemas maiores. O padrão é consistente: um modelo de cerca de 7 a 30 bilhões de parâmetros, comprimido com agressividade, com licença permissiva, voltado ao ciclo apertado de um agente.

A lógica é a mesma todas as vezes. Um agente chama seu modelo muitas vezes por tarefa, então o custo e a latência por chamada dominam a experiência. Um modelo pequeno o bastante para rodar localmente elimina tanto a ida e volta pela rede quanto a conta por token, e isso muda o quão agressivamente você pode usar o agente. Você para de medir o seu próprio assistente.

Há uma segunda razão, mais silenciosa. Modelos rodados localmente não enviam seus dados a lugar nenhum, o que importa para quem trabalha com código ou documentos que não tem permissão de enviar. Para esse público, a compressão não é uma otimização de custo. É o único jeito de ter um modelo capaz, simplesmente.

O argumento dos arquivos pequenos, em um número

Ajuda tornar concreta a diferença de tamanho. Um modelo de 27 bilhões de parâmetros em 16 bits ocupa cerca de 54 gigabytes antes de qualquer sobrecarga de execução. Isso não cabe na maioria dos notebooks, e não cabe na memória que sobra depois que sistema operacional, navegador e editor tomam sua parte. Em dois bits, o mesmo número de parâmetros chega perto de 8 gigabytes, o que cabe, e cabe junto das ferramentas que o agente deve comandar.

É esse todo o argumento a favor da compressão de baixa precisão em um contexto de agente local. Não se trata de rodar um modelo que antes não rodava de jeito nenhum, embora isso faça parte. Trata-se de rodar um modelo com conforto suficiente para que o agente possa chamá-lo repetidamente sem que a máquina perceba, porque um agente que deixa o sistema inteiro lento é um agente que ninguém deixa ligado.

O que checar antes de acreditar nisso

Modelos comprimidos merecem um tipo específico de ceticismo. O benchmark de manchete pode se manter enquanto o modelo piora nas entradas longas e bagunçadas que o trabalho real produz. O dano da quantização costuma aparecer primeiro em formatações incomuns, contextos longos e idiomas raros, e um benchmark curto não captura nenhum deles.

Também importa o que dois bits descreve. Profundidade de bits por peso, tamanhos de grupo e se algumas camadas são mantidas em precisão maior mudam todos o significado do número. Dois bits em um esquema não é o mesmo que dois bits em outro, e a diferença não é óbvia a partir de um cartão de modelo.

O que isso tudo significa

O debate da fronteira é sobre o maior modelo que alguém consegue treinar. Um debate paralelo, igualmente consequente, é sobre o menor modelo que ainda é bom o bastante para ser útil no seu próprio hardware. O Saluki 27B está no segundo debate, e faz uma afirmação concreta e testável: a de que dois bits bastam para o trabalho que os agentes de fato fazem.

Se essa afirmação se sustenta fora do benchmark, ela baixa o piso do que uma pessoa consegue rodar localmente, e é num piso mais baixo que normalmente se constrói a próxima onda de produtos. O modelo não é a história. O encolhimento do modelo é.

Vale lembrar que essa é uma área jovem. Os métodos que fazem os pesos de dois bits funcionarem ainda estão sendo escritos, e cada lançamento é tanto uma demonstração de uma técnica de compressão quanto um produto. O Saluki é interessante menos pelo que é hoje do que pelo que prova ser agora possível fazer passar por um tubo estreito. O próximo modelo dessa linha será menor, mais afiado, ou os dois, e o piso vai baixar de novo.