Um bit basta: por que o BitNet da Microsoft continua conquistando

O número que não deveria funcionar

Todo grande modelo de linguagem é, no fundo, uma quantidade enorme de multiplicações. Bilhões de parâmetros, cada um um decimal com muitos dígitos de precisão, cada um multiplicado por um valor correspondente durante a inferência. O custo mora na precisão. Reduza a precisão e o modelo fica mais barato, mais rápido e menor. Reduza demais e o modelo para de funcionar.

Durante anos, o senso comum era de que havia um piso. Dava para comprimir os pesos a oito bits, talvez quatro com cuidado. Abaixo disso, a aritmética quebrava e a saída virava bobagem. Então uma linha de pesquisa empurrou esse piso até um único bit, e aconteceu algo bastante surpreendente: os modelos continuaram funcionando.

O BitNet da Microsoft, um framework de inferência oficial para modelos de um bit, voltou a subir este mês nas listas semanais de tendências do GitHub. É um bom momento para entender por que um modelo feito de pesos de um bit não é um truque, e o que ele de fato entrega.

O que um peso de um bit realmente significa

O nome engana um pouco, e vale acertar a questão da precisão. Um peso totalmente de um bit seria um único valor binário. A abordagem que mais deu certo usa três valores: menos um, zero e mais um. Costuma-se chamar de esquema ternário ou de 1,58 bit, e esse 1,58 é apenas o custo, em termos de teoria da informação, de poder escolher entre três opções em vez de duas.

Essa restrição soa brutal. Significa que cada peso da rede é forçado a um de três estados. O que a torna viável é que uma rede neural treinada com essa restrição desde o início aprende a viver dentro dela. Os pesos que importam vão para os extremos; os que não importam vão para zero. O modelo não perde muito, porque a maioria dos pesos nunca carregava grande coisa mesmo.

O retorno é uma aritmética que muda de natureza. Um modelo convencional multiplica dois números de vários dígitos para cada parâmetro. Um modelo ternário passa a maior parte do tempo decidindo se soma um valor, se subtrai ou se ignora de vez. No silício, a soma é drasticamente mais barata que a multiplicação, tanto em tempo quanto em energia, e eliminar a necessidade de multiplicadores largos remove boa parte do que torna um chip caro.

Chegar lá exige mudar como o modelo é construído, não só como é armazenado. Não dá para pegar um modelo pronto, treinado em precisão total, e simplesmente arredondar cada peso para menos um, zero ou um; a acurácia desmorona. A restrição precisa estar presente durante o treinamento, para que a rede aprenda a conduzir sua capacidade pelos três valores que lhe é permitido manter. É por isso que a abordagem depende inteiramente da receita de treinamento, e por isso os resultados são difíceis de reproduzir apenas a partir de um checkpoint.

Por que roda numa CPU

A consequência prática mais marcante é onde esses modelos podem rodar. Como a aritmética é tão leve, modelos de um bit não precisam da maquinaria especializada de um acelerador de data center para serem utilizáveis. Rodam em CPUs comuns, a velocidades que os tornam plausíveis para aplicações reais e não apenas demonstrações curiosas.

Isso é maior do que parece. A narrativa padrão da IA moderna é uma história sobre GPUs: quem tem, quantas e a que preço. Todo modelo que roda bem sem uma é um modelo que amplia quem pode participar. Se um modelo de um bit com capacidade razoável roda num notebook, a barreira para usar um modelo de linguagem local capaz deixa de ser hardware e passa a ser paciência.

Energia é a outra metade do argumento. Data centers que rodam grandes modelos consomem eletricidade numa escala que virou uma restrição real, tanto econômica quanto política. Um modelo que precisa de uma fração do cálculo para a mesma tarefa não é uma pequena otimização nesse orçamento. É a diferença entre uma carga de trabalho ser viável num site ou não.

O porém que o mantém honesto

Se os modelos de um bit fossem estritamente melhores, todo mundo os usaria e o framework não precisaria estar em alta. A realidade é mais matizada. Um modelo ternário não é um substituto direto de um de precisão total. O procedimento de treinamento é diferente, as ferramentas são mais novas, e o ecossistema de fine-tunes e adaptadores é menor, porque menos gente construiu sobre ele.

Há também uma questão de qualidade que os números de manchete podem esconder. Um modelo de um bit com um dado número de parâmetros não é automaticamente tão capaz quanto um de precisão total com o mesmo número. O ponto da abordagem é que dá para bancar um modelo de um bit muito maior na mesma máquina, e esse modelo maior pode igualar ou superar um de alta precisão menor. A comparação que importa não é precisão contra precisão. É capacidade por unidade de hardware, e aí a troca costuma valer a pena.

O enquadramento honesto é que este é outro ramo da árvore de design, não uma folha estritamente superior. Ele troca um pouco de flexibilidade e muita maturidade de ecossistema por uma grande redução no custo de cálculo. De que lado dessa troca você quer estar depende inteiramente de seu gargalo ser a capacidade ou o custo.

Há também uma diferença sutil em como os dois tipos de modelo falham. Um modelo de precisão total a quem se pergunta algo além de sua capacidade tende a dar uma resposta plausível, mas errada. Um modelo ternário maior e bem treinado não é evidentemente pior nisso; as falhas se parecem. O que muda é o formato da troca que você faz. Você aceita um modelo maior e mais desajeitado, que roda barato, em troca de um menor e mais fluido, que roda caro. Nenhum dos dois é de graça, e fingir o contrário é como as pessoas acabam decepcionadas com os resultados.

Por que isso importa além do benchmark

O interessante da linha de trabalho do um bit não é que ela ganha em alguma tarefa isolada. É que ela questiona uma premissa sobre a qual todo o campo vem rodando: a de que a utilidade cresce com a precisão, e a precisão cresce com o hardware. Se a capacidade pode ser preservada enquanto a precisão desmorona, então muito do que presumimos sobre quem pode rodar IA e onde começa a amolecer.

Isso tem consequências para os tipos de modelo discutidos em outros lugares este mês. A geração de imagens e vídeos é a carga de trabalho mais faminta por cálculo do lado do consumidor, e é justamente a carga em que as técnicas ternárias são mais difíceis de aplicar, porque suas arquiteturas diferem dos modelos de linguagem para os quais esses frameworks foram construídos. Mas a direção é clara. A pressão para fazer modelos capazes rodarem em hardware acessível não vai embora, e toda técnica que alivia essa pressão encontra público.

O jogo longo

O BitNet não vai substituir os modelos de fronteira. Nada na abordagem sugere isso, e o campo não está esperando que ele faça. O que ele faz é manter uma porta aberta. Ele diz que um modelo não precisa ser um bem de luxo, que capacidade e custo não são o mesmo eixo, e que uma quantidade surpreendente do que torna um modelo de linguagem útil sobrevive a ser espremida a três valores por peso.

Para a maioria das pessoas, o efeito prático é invisível hoje. Para o número crescente de quem quer um modelo capaz no hardware que já tem, e para os operadores que encaram uma conta de energia, é o tipo de trabalho que muda o que é possível sem se anunciar. A pesquisa mais importante em IA nem sempre é o modelo que lidera um ranking. Às vezes é aquele que torna o ranking irrelevante.