Un modelo de 744B corriendo en un portátil sin tarjeta gráfica

Hay una línea en el README de colibri que parece una errata. Un modelo de 744.000 millones de parámetros, int4, en streaming desde la CPU, listo en 32 segundos, 9,9 GB residentes. En un portátil. Sin tarjeta gráfica.
No es una errata, pero tampoco es la frase completa. Los 9,9 GB son lo que se queda en memoria. Los 429 GB de expertos que el modelo consulta de verdad viven en tu disco y se leen a medida que el modelo los pide. Esa distinción es todo el proyecto.
colibri está escrito en C, un archivo por familia de modelo, por un desarrollador conocido como JustVugg. Llegó al trending de GitHub esta semana a unas 803 estrellas por día. Hoy incluye trece motores: diez para modelos de lenguaje, uno que dibuja imágenes y dos que toman decisiones de clasificación. El discurso es inusualmente franco sobre el trade-off, y por eso merece tomarse en serio.
Qué te compra de verdad el streaming de expertos
Los modelos mixture-of-experts ya hacen este truco por dentro. Un modelo de 744B no usa 744B de parámetros para un token. Enruta ese token a un puñado de expertos, quizá 8 de 512, más uno compartido. El resto queda parado.
La inferencia en centro de datos los mantiene todos en VRAM porque la VRAM es más rápida que cualquier alternativa. colibri invierte la premisa: si el 95% de los pesos están parados en cualquier token, ¿por qué mantenerlos en la memoria más cara que tienes? Pon la parte que siempre se usa en RAM, pon los expertos en disco y lee solo los que el router elija.
El problema es la latencia, y colibri no la esconde. En la tabla del propio README, GLM-5.2 corre a 0,05–0,1 tokens por segundo en frío en un portátil de 25 GB. Eso no es una experiencia de chat. Es una frase cada veinte segundos. En un Ryzen AI Max+ 395 con 128 GB llega a 1,83 tok/s. En seis RTX 5090, 9,0 a 9,2. DeepSeek V4 Flash, el de 284B, da 0,93 tok/s en un Ryzen 7 5800X con 32 GB, y 1,5 a 1,6 con una RTX 5080 ayudando.
Esos números son la parte honesta del proyecto. Muchas afirmaciones de “corre en tu portátil” quieren decir, en voz baja, “corre en tu portátil si tu portátil es una estación de trabajo”. Este publica el caso lento junto al rápido, y el caso lento es genuinamente lento.

La instalación es un archivo por lotes
Lo que hace que colibri sea más que una curiosidad es que alguien hizo el trabajo sin glamour de empaquetarlo para quien no compila nada.
En Windows descargas el ZIP, haces doble clic en START-HERE.bat y te ofrece instalar Python si no lo tienes. En Linux y macOS es un git clone y ./start-here.sh. El script hace entonces cinco cosas en orden: lee tu RAM, disco, CPU y GPU; recomienda un modelo cuya parte residente más una caché mínima de expertos quepa en tu RAM; compila el motor para tu máquina si hay compilador, y si no descarga un binario ya compilado; descarga el modelo con reanudación; y levanta un servidor local con panel.
El mínimo son 8 GB de RAM y 22 GB de disco libre para el modelo más pequeño. La GPU es opcional, y el README es concreto sobre cuándo ayuda: en tarjeta dedicada siempre, en GPU integrada solo para los tres modelos que midieron como más rápidos ahí.
El servidor habla dos dialectos que importan. http://127.0.0.1:8000/v1 es una URL base compatible con OpenAI, y el puerto a secas es compatible con Anthropic. Así que el uso práctico no es escribir en un terminal. Es apuntar una herramienta que ya tienes a localhost y dejar que crea que habla con un proveedor de nube.
También dibuja imágenes
El decimotercer motor es el que me llamó la atención, porque convierte un proyecto de inferencia de texto en algo relevante para el trabajo con imagen. colibri incluye un motor de Qwen-Image-2.1. El mismo modelo 7B que Alibaba publicó en septiembre, el de salida nativa 2048×2048 y canal alfa real.
La cifra medida en el README: descarga de 33 GB, 12 a 18 GB de RAM, Vulkan para la ruta de GPU, y una imagen de 768×512 en dos minutos cuarenta en ocho núcleos Zen 4, solo CPU. También puedes llamarlo por HTTP en POST /v1/images/generations, y coli chat dibuja el resultado dentro del terminal con caracteres de bloque.
Dos minutos cuarenta para una imagen de 768×512 no va a sustituir la factura de API de nadie. Pero reencuadra qué es el modelo. Qwen-Image-2.1 salió con licencia solo de investigación, lo que significa que en el momento en que lo pones detrás de un producto de pago hay una conversación de licencias que tener. Un motor local que lo corre en CPU es exactamente la forma de herramienta para la fase anterior a esa conversación: estás evaluando, no vendiendo.
Dónde el disco se vuelve el cuello de botella
El README lo dice claro: en los modelos grandes el disco marca la velocidad, y un NVMe rápido ayuda más. Es una restricción arquitectónica real, no una nota al pie. El rendimiento de lectura secuencial de un SSD SATA es aproximadamente una décima parte de un NVMe decente, y el patrón de acceso aquí tampoco es perfectamente secuencial.
Lo que significa que la forma honesta de pensar en colibri es como un sistema de tiering de memoria con interfaz de línea de comandos. Cambias rendimiento por capacidad. Un modelo de 429 GB no cabe en 32 GB de RAM. Sí cabe en un disco de 1 TB. Si el cambio vale la pena depende enteramente de si necesitas más la capacidad del modelo que su velocidad.
Hay un efecto de segundo orden que importa para quien trabaja con agentes. Los agentes van a ráfagas. Se quedan parados minutos y luego disparan veinte llamadas a herramientas. Un modelo local que tarda veinte segundos por respuesta es inutilizable en ese bucle. Un modelo local que tarda dos minutos tampoco es utilizable. Así que el caso de uso honesto es el trabajo por lotes: resumir esta carpeta, clasificar estos cuatrocientos documentos, redactar estas doce descripciones de producto. Ejecuciones de las que te alejas.
Lo que probaría primero
Tres cosas merecen comprobarse antes de comprometer espacio en disco.
Arranque en frío frente a caliente. Los 32 segundos del README son para GLM-5.2 con page cache caliente, presumiblemente. La primera ejecución tras el arranque será más lenta, y en un disco mecánico será mucho más lenta. Cronométralo tú.
Si tu modelo está realmente soportado. Trece motores es mucho para el estándar del C escrito a mano, pero es una porción pequeña del ecosistema de pesos abiertos. El README señala que los checkpoints que comparten arquitectura corren sin cambios, lo que es una salida útil y también una advertencia: “misma arquitectura” está haciendo un trabajo silencioso en esa frase.
La licencia de lo que cargues. colibri en sí no cambia los términos de los pesos que ejecuta. Qwen-Image-2.1 es solo de investigación. Algunos de los modelos de lenguaje son MIT. Otros no. El motor es neutral; el modelo no.
Por qué importa más allá de un repositorio
Durante dos años, la historia de la IA local ha sido la cuantización: hacer el modelo lo bastante pequeño para que quepa. Dos bits por peso, 4 GB de VRAM, un móvil. Esa línea de trabajo es real y ha producido cosas genuinamente útiles.
colibri apunta a otro eje. En vez de hacer el modelo más pequeño, hacer la jerarquía de memoria más profunda. La RAM es más barata que la VRAM. El disco es más barato que la RAM. La distancia entre “un modelo que existe” y “un modelo que puedo correr” no tiene que cerrarse solo con compresión; puede cerrarse aceptando un nivel más lento.
No es una idea nueva. Es como funcionan las bases de datos desde hace cuarenta años, y como funcionan los sistemas operativos desde antes. Lo nuevo es que alguien lo haya entregado como un archivo por lotes para un modelo de 744B, haya publicado los benchmarks lentos junto a los rápidos y haya metido un modelo de imagen en la caja.
El repositorio no va a sustituir tu suscripción de API. Puede sustituir la suposición de que un modelo de 700B es algo que solo se alquila. Y la imagen que dibuja en ocho núcleos de CPU en dos minutos cuarenta es un recordatorio decente de que “local” no es binario, es un presupuesto que tú fijas.
Artículos relacionados
Google sacó los agentes de código del portátil, y el aviso de permiso sigue siendo el cuello de botella
La fontanería está casi resuelta. El aviso de permiso sigue siendo el cuello de botella humano.
NVIDIA libera cuatro modelos del mundo de 16B y la parte sin benchmark es el aprendizaje de políticas
NVIDIA dice que no está medido si estos modelos sirven para aprender políticas. La frase debería acompañar cualquier historia sobre modelos del mundo abiertos.
Cuatro de los repos más populares de GitHub son bibliotecas de skills, y ya hay un problema de empaquetado
La adopción va bien. El fallo interesante son cuatro formas incompatibles de instalar el mismo objeto.
Thinking Machines lanzó un modelo de 594B y dejó los pesos para la semana que viene
Un modelo fuerte, una receta documentada, una capacidad infravalorada y una fecha que el laboratorio no ha comprometido.