← Voltar ao blog
Aicerca de 8 min de leitura

Um modelo de 744B rodando num notebook sem placa de vídeo

Publicado 11 de nov. de 2026
Um modelo de 744B rodando num notebook sem placa de vídeo

Há uma linha no README do colibri que parece erro de digitação. Um modelo de 744 bilhões de parâmetros, int4, em streaming a partir da CPU, pronto em 32 segundos, 9,9 GB residentes. Num notebook. Sem placa de vídeo.

Não é erro de digitação, mas também não é a frase inteira. Os 9,9 GB são o que permanece na memória. Os 429 GB de especialistas que o modelo de fato consulta ficam no seu disco e são lidos conforme o modelo pede. Essa distinção é o projeto inteiro.

O colibri é escrito em C, um arquivo por família de modelo, por um desenvolvedor conhecido como JustVugg. Chegou ao trending do GitHub esta semana a cerca de 803 estrelas por dia. São treze engines hoje: dez para modelos de linguagem, uma que desenha imagens e duas que tomam decisões de classificação. O discurso é incomumente franco sobre o trade-off, e é por isso que vale levar a sério.

O que streaming de especialistas realmente entrega

Modelos mixture-of-experts já fazem esse truque internamente. Um modelo de 744B não usa 744B de parâmetros para um token. Ele roteia esse token para um punhado de especialistas, talvez 8 de 512, mais um compartilhado. O resto fica parado.

Inferência em data center mantém todos na VRAM porque a VRAM é mais rápida que qualquer alternativa. O colibri inverte a premissa: se 95% dos pesos estão parados em qualquer token, por que mantê-los na memória mais cara que você tem? Coloque a parte sempre usada na RAM, coloque os especialistas no disco e leia só os que o roteador escolher.

O problema é latência, e o colibri não esconde. Na tabela do próprio README, o GLM-5.2 roda a 0,05 a 0,1 token por segundo a frio num notebook de 25 GB. Isso não é experiência de chat. É uma frase a cada vinte segundos. Num Ryzen AI Max+ 395 com 128 GB chega a 1,83 tok/s. Em seis RTX 5090, 9,0 a 9,2. O DeepSeek V4 Flash, o de 284B, faz 0,93 tok/s num Ryzen 7 5800X com 32 GB, e 1,5 a 1,6 com uma RTX 5080 ajudando.

Esses números são a parte honesta do projeto. Muitas alegações de “roda no seu notebook” querem dizer, em silêncio, “roda no seu notebook se o seu notebook for uma estação de trabalho”. Este publica o caso lento ao lado do rápido, e o caso lento é genuinamente lento.

Um notebook sobre uma mesa de madeira com um disco externo ao lado, a luz de atividade acesa e o brilho da tela refletido na mesa

A instalação é um arquivo em lote

O que faz o colibri ser mais que uma curiosidade é que alguém fez o trabalho sem glamour de empacotar para quem não compila nada.

No Windows você baixa o ZIP, dá dois cliques em START-HERE.bat, e ele oferece instalar o Python se você não tiver. No Linux e no macOS é um git clone e ./start-here.sh. O script então faz cinco coisas em ordem: lê sua RAM, disco, CPU e GPUs; recomenda um modelo cuja parte residente mais um cache mínimo de especialistas caiba na sua RAM; compila a engine para a sua máquina se houver compilador, senão baixa um binário pronto; baixa o modelo com retomada; e sobe um servidor local com dashboard.

O mínimo é 8 GB de RAM e 22 GB de disco livre para o menor modelo. GPU é opcional, e o README é específico sobre quando ajuda: em placa dedicada sempre, em GPU integrada só nos três modelos que eles mediram como mais rápidos ali.

O servidor fala dois dialetos que importam. http://127.0.0.1:8000/v1 é uma base URL compatível com OpenAI, e a porta pura é compatível com Anthropic. Então o uso prático não é digitar num terminal. É apontar uma ferramenta que você já tem para o localhost e deixá-la achar que está falando com um provedor de nuvem.

Ele também desenha imagens

A décima terceira engine é a que chamou minha atenção, porque transforma um projeto de inferência de texto em algo relevante para trabalho com imagem. O colibri traz uma engine do Qwen-Image-2.1. O mesmo modelo 7B que a Alibaba lançou em setembro, aquele com saída nativa 2048×2048 e canal alfa de verdade.

O número medido no README: download de 33 GB, 12 a 18 GB de RAM, Vulkan para o caminho de GPU, e uma imagem 768×512 em dois minutos e quarenta segundos em oito núcleos Zen 4, só CPU. Dá também para chamar por HTTP em POST /v1/images/generations, e coli chat desenha o resultado dentro do terminal com caracteres de bloco.

Dois minutos e quarenta para uma imagem 768×512 não vai substituir a fatura de API de ninguém. Mas reenquadra o que o modelo é. O Qwen-Image-2.1 saiu com licença só de pesquisa, o que significa que no momento em que você o coloca atrás de um produto pago existe uma conversa de licenciamento a ter. Uma engine local que o roda na CPU é exatamente o formato de ferramenta para a fase anterior a essa conversa: você está avaliando, não vendendo.

Onde o disco vira o gargalo

O README diz com todas as letras: nos modelos grandes, o disco define a velocidade, e um NVMe rápido ajuda mais. É uma restrição arquitetural real, não nota de rodapé. A vazão de leitura sequencial de um SSD SATA é cerca de um décimo de um NVMe decente, e o padrão de acesso aqui também não é perfeitamente sequencial.

O que significa que a forma honesta de pensar no colibri é como um sistema de tiering de memória com interface de linha de comando. Você troca vazão por capacidade. Um modelo de 429 GB não cabe em 32 GB de RAM. Cabe num disco de 1 TB. Se a troca vale a pena depende inteiramente de você precisar mais da capacidade do modelo do que da velocidade dele.

Há um efeito de segunda ordem que importa para quem trabalha com agentes. Agentes são em rajadas. Ficam parados por minutos, depois disparam vinte chamadas de ferramenta. Um modelo local que leva vinte segundos por resposta é inutilizável nesse laço. Um modelo local que leva dois minutos também não é utilizável. Então o caso de uso honesto é trabalho em lote: resumir esta pasta, classificar estes quatrocentos documentos, redigir estas doze descrições de produto. Execuções das quais você se afasta.

A parte que eu testaria primeiro

Três coisas valem checagem antes de você comprometer espaço em disco.

Partida a frio contra a quente. Os 32 segundos do README são para o GLM-5.2 com page cache quente, presumivelmente. A primeira execução depois do boot será mais lenta, e num disco mecânico será muito mais lenta. Cronometre você mesmo.

Se o seu modelo é de fato suportado. Treze engines é muito para o padrão de C escrito à mão, mas é uma fatia pequena do ecossistema de pesos abertos. O README observa que checkpoints que compartilham uma arquitetura rodam sem alteração, o que é uma saída útil, e também uma ressalva: “mesma arquitetura” está fazendo um trabalho silencioso nessa frase.

A licença do que você carregar. O colibri em si não muda os termos dos pesos que executa. O Qwen-Image-2.1 é só de pesquisa. Alguns dos modelos de linguagem são MIT. Alguns não são. A engine é neutra; o modelo não é.

Por que isso importa além de um repositório

Por dois anos, a história da IA local foi sobre quantização: deixar o modelo pequeno o bastante para caber. Dois bits por peso, 4 GB de VRAM, um celular. Essa linha de trabalho é real e produziu coisas genuinamente úteis.

O colibri aponta para outro eixo. Em vez de deixar o modelo menor, deixar a hierarquia de memória mais profunda. RAM é mais barata que VRAM. Disco é mais barato que RAM. A distância entre “um modelo que existe” e “um modelo que eu consigo rodar” não precisa ser fechada só por compressão; pode ser fechada aceitando um nível mais lento.

Isso não é ideia nova. É como bancos de dados funcionam há quarenta anos, e como sistemas operacionais funcionam há mais tempo. O que é novo é alguém ter entregado isso como um arquivo em lote para um modelo de 744B, publicado os benchmarks lentos ao lado dos rápidos e incluído um modelo de imagem na caixa.

O repositório não vai substituir a sua assinatura de API. Pode substituir a suposição de que um modelo de 700B é algo que só se aluga. E a imagem que ele desenha em oito núcleos de CPU em dois minutos e quarenta é um lembrete decente de que “local” não é binário, é um orçamento que você define.

Artigos relacionados