Il modello da 744 miliardi che vive in 9,9 GB e si legge dal disco

C'è una riga nel README di colibri che sembra un refuso. Un modello da 744 miliardi di parametri, int4, in streaming dalla CPU, pronto in 32 secondi, 9,9 GB residenti. Su un portatile. Senza scheda grafica.
Non è un refuso, ma non è nemmeno tutta la frase. I 9,9 GB sono quello che resta in memoria. I 429 GB di esperti che il modello consulta davvero vivono sul disco, e vengono letti man mano che il modello li chiede. Quel distinguo è l'intero progetto.
colibri è scritto in C, un file per famiglia di modelli, da uno sviluppatore che si fa chiamare JustVugg. Questa settimana è finito nei trending di GitHub a circa 803 stelle al giorno. Oggi escono tredici motori: dieci per modelli linguistici, uno che disegna immagini, e due che prendono decisioni di classificazione. Il pitch è insolitamente esplicito sul compromesso, ed è per questo che vale la pena prenderlo sul serio.
Cosa ti compra davvero lo streaming degli esperti
I modelli mixture-of-experts fanno già questo trucco al loro interno. Un modello da 744B non usa 744B parametri per un token. Instrada quel token verso una manciata di esperti, magari 8 su 512, più uno condiviso. Gli altri restano fermi.
L'inferenza nei data center li tiene tutti in VRAM perché la VRAM è più veloce di qualsiasi alternativa. colibri inverte l'assunzione: se il 95% dei pesi è inerte su un dato token, perché tenerli nella memoria più costosa che possiedi? Metti in RAM la parte sempre usata, metti gli esperti sul disco, e leggi solo quelli che il router sceglie.
Il problema è la latenza, e colibri non la nasconde. Nella tabella del README, GLM-5.2 gira a 0,05–0,1 token al secondo a freddo su un portatile da 25 GB. Non è un'esperienza da chat. È una frase ogni venti secondi. Su un Ryzen AI Max+ 395 da 128 GB arriva a 1,83 tok/s. Su sei RTX 5090, da 9,0 a 9,2. DeepSeek V4 Flash, quello da 284B, fa 0,93 tok/s su un Ryzen 7 5800X con 32 GB, e 1,5–1,6 con una RTX 5080 che dà una mano.
Quei numeri sono la parte onesta del progetto. Molte affermazioni «gira sul tuo portatile» significano in silenzio «gira sul tuo portatile se il tuo portatile è una workstation». Questo pubblica il caso lento accanto a quello veloce, e il caso lento è davvero lento.

Il setup è un file batch
Quello che rende colibri più di una curiosità è che qualcuno ha fatto il lavoro poco glamour di impacchettarlo per chi non compila nulla.
Su Windows scarichi lo ZIP, fai doppio clic su START-HERE.bat, e il file ti propone di installare Python se non ce l'hai. Su Linux e macOS è un git clone e ./start-here.sh. Lo script poi fa cinque cose in ordine: legge RAM, disco, CPU e GPU; consiglia un modello la cui porzione residente più una cache minima di esperti entri nella tua RAM; compila il motore per la tua macchina se esiste un compilatore, altrimenti scarica un binario precompilato; scarica il modello con ripresa; e avvia un server locale con una dashboard.
Il minimo è 8 GB di RAM e 22 GB di disco libero per il modello più piccolo. La GPU è opzionale, e il README è preciso su quando aiuta: su una scheda discreta sempre, su una GPU integrata solo per i tre modelli che hanno misurato più veloci lì.
Il server parla due dialetti che contano. http://127.0.0.1:8000/v1 è un base URL compatibile OpenAI, e la sola porta è compatibile Anthropic. L'uso pratico quindi non è scrivere in un terminale. È puntare uno strumento che hai già su localhost e lasciargli credere di parlare con un provider cloud.
Disegna anche immagini
Il tredicesimo motore è quello che mi ha colpito, perché trasforma un progetto di inferenza testuale in qualcosa di rilevante per il lavoro sulle immagini. colibri include un motore Qwen-Image-2.1. Lo stesso modello 7B che Alibaba ha rilasciato a settembre, quello con output nativo 2048×2048 e un vero canale alpha.
Il numero misurato nel README: 33 GB di download, 12–18 GB di RAM, Vulkan per il percorso GPU, e un'immagine 768×512 in due minuti e quaranta su otto core Zen 4, solo CPU. Puoi anche chiamarlo via HTTP su POST /v1/images/generations, e coli chat disegna il risultato dentro il terminale con caratteri a blocchi.
Due minuti e quaranta per un'immagine 768×512 non sostituirà la bolletta API di nessuno. Ma ridefinisce cosa sia il modello. Qwen-Image-2.1 è uscito con licenza solo ricerca, il che significa che nel momento in cui lo metti dietro un prodotto a pagamento hai una conversazione sulle licenze da fare. Un motore locale che lo fa girare su CPU è esattamente la forma di strumento per la fase precedente a quella conversazione: stai valutando, non vendendo.
Dove il disco diventa il collo di bottiglia
Il README lo dice chiaro: sui modelli grandi è il disco a dettare la velocità, e un NVMe veloce aiuta più di tutto. È un vincolo architetturale reale, non una nota a piè di pagina. Il throughput di lettura sequenziale su un SSD SATA è circa un decimo di un buon NVMe, e qui il pattern di accesso non è nemmeno perfettamente sequenziale.
Il che significa che il modo onesto di pensare a colibri è come a un sistema di tiering della memoria con un'interfaccia a riga di comando. Stai scambiando throughput per capacità. Un modello da 429 GB non entra in 32 GB di RAM. Entra in un disco da 1 TB. Se lo scambio valga la pena dipende interamente da quanto ti serve la capacità del modello rispetto alla sua velocità.
C'è un effetto di secondo livello che conta per chi lavora con gli agenti. Gli agenti sono a raffiche. Restano fermi per minuti, poi sparano venti chiamate ai tool. Un modello locale che impiega venti secondi per risposta è inutilizzabile in quel loop. Un modello locale che ne impiega due minuti non è utilizzabile nemmeno lui. Quindi il caso d'uso onesto è il lavoro a batch: riassumi questa cartella, classifica questi quattrocento documenti, scrivi la bozza di queste dodici descrizioni prodotto. Lavori da cui ti allontani.
La parte che proverei per prima
Tre cose vale la pena controllare prima di impegnare spazio su disco.
Avvio a freddo contro caldo. I 32 secondi del README sono per GLM-5.2 con la page cache calda, presumibilmente. Il primo avvio dopo il boot sarà più lento, e su un disco meccanico molto più lento. Cronometralo tu.
Se il tuo modello è davvero supportato. Tredici motori sono tanti per gli standard del C scritto a mano, ma sono una fetta piccola dell'ecosistema a pesi aperti. Il README nota che checkpoint che condividono un'architettura girano senza modifiche, il che è una via d'uscita utile e anche un'avvertenza: «stessa architettura» sta facendo un lavoro silenzioso in quella frase.
La licenza di quello che carichi. colibri in sé non cambia i termini dei pesi che esegue. Qwen-Image-2.1 è solo ricerca. Alcuni dei modelli linguistici sono MIT. Altri no. Il motore è neutro; il modello no.
Perché conta oltre un singolo repository
Per due anni la storia dell'AI locale è stata la quantizzazione: rendere il modello abbastanza piccolo da entrarci. Due bit per peso, 4 GB di VRAM, un telefono. Quella linea di lavoro è reale e ha prodotto cose davvero utili.
colibri punta su un altro asse. Invece di rendere il modello più piccolo, rendi più profonda la gerarchia di memoria. La RAM costa meno della VRAM. Il disco costa meno della RAM. La distanza fra «un modello che esiste» e «un modello che posso far girare» non deve essere colmata solo dalla compressione; può essere colmata accettando un livello più lento.
Non è un'idea nuova. È come funzionano i database da quarant'anni, e come funzionano i sistemi operativi da ancora prima. La novità è che qualcuno l'ha consegnata come file batch per un modello da 744B, ha pubblicato i benchmark lenti accanto a quelli veloci, e ha messo un modello di immagini nella confezione.
Il repository non sostituirà il tuo abbonamento API. Potrebbe sostituire l'assunzione che un modello da 700B sia qualcosa che puoi solo noleggiare. E l'immagine che disegna su otto core CPU in due minuti e quaranta è un buon promemoria che «locale» non è un binario, è un budget che decidi tu.
Articoli correlati
Gli agenti si spostano nel cloud: il task continua quando chiudi il portatile
Il task continua in una VM cloud dopo che hai chiuso il portatile, ma perdi il tooling interno e resta aperto chi approva le azioni irreversibili.
NVIDIA rilascia quattro modelli del mondo da 16 miliardi e un decoder 25 volte più veloce sulla geometria
Quattro generatori del mondo da 16 miliardi con le ricette di training, e un framework di decoding che emette geometria in un colpo. La valutazione manca.
Le skill occupano un quarto dei trend di GitHub, e ognuna si installa a modo suo
Una skill è una cartella di istruzioni, ma installarla ha quattro strade diverse e la copia locale non ha ancora un lockfile.
Un modello da 594 miliardi in cima alle classifiche. I pesi, però, non ci sono
Un modello forte, numeri buoni e una ricetta da leggere, ma i pesi che renderebbero verificabile la dichiarazione non sono ancora usciti.