← Zurück zum Blog
Aica. 7 Min. Lesezeit

Das 744B-Modell, das in 9,9 GB lebt und sich von der Platte liest

Veröffentlicht 11. Nov. 2026
Das 744B-Modell, das in 9,9 GB lebt und sich von der Platte liest

Im README von colibri steht eine Zeile, die wie ein Tippfehler aussieht. Ein Modell mit 744 Milliarden Parametern, int4, gestreamt von der CPU, bereit in 32 Sekunden, 9,9 GB resident. Auf einem Laptop. Ohne Grafikkarte.

Es ist kein Tippfehler, aber auch nicht der ganze Satz. Die 9,9 GB sind das, was im Speicher bleibt. Die 429 GB Experten, die das Modell tatsächlich konsultiert, liegen auf der Platte und werden nachgelesen, wenn das Modell sie anfordert. Genau diese Unterscheidung ist das ganze Projekt.

colibri ist in C geschrieben, eine Datei pro Modellfamilie, von einem Entwickler, der als JustVugg auftritt. Diese Woche kam es mit rund 803 Sternen pro Tag in die GitHub-Trends. Dreizehn Engines werden derzeit ausgeliefert: zehn für Sprachmodelle, eine für Bilder und zwei für Klassifikationsentscheidungen. Der Pitch ist ungewöhnlich offen über den Kompromiss – deshalb lohnt es, ihn ernst zu nehmen.

Was Experten-Streaming wirklich bringt

Mixture-of-Experts-Modelle machen diesen Trick intern längst selbst. Ein 744B-Modell nutzt für ein Token keine 744B Parameter. Es routet das Token zu einer Handvoll Experten, vielleicht 8 von 512, plus einem geteilten. Der Rest liegt still.

Inferenz im Rechenzentrum hält alle im VRAM, weil VRAM schneller ist als jede Alternative. colibri dreht die Annahme um: Wenn 95 % der Gewichte bei einem gegebenen Token untätig sind, warum sie im teuersten Speicher halten, den man besitzt? Den immer genutzten Teil in den RAM, die Experten auf die Platte, und nur die lesen, die der Router auswählt.

Der Haken ist die Latenz, und colibri versteckt sie nicht. In der Tabelle im README läuft GLM-5.2 kalt auf einem 25-GB-Laptop bei 0,05 bis 0,1 Token pro Sekunde. Das ist keine Chat-Erfahrung. Das ist ein Satz alle zwanzig Sekunden. Auf einem Ryzen AI Max+ 395 mit 128 GB erreicht es 1,83 tok/s. Auf sechs RTX 5090 sind es 9,0 bis 9,2. DeepSeek V4 Flash, das mit 284B, kommt auf 0,93 tok/s auf einem Ryzen 7 5800X mit 32 GB und auf 1,5 bis 1,6 mit einer unterstützenden RTX 5080.

Diese Zahlen sind der ehrliche Teil des Projekts. Viele „läuft auf deinem Laptop“-Behauptungen heißen still „läuft auf deinem Laptop, wenn dein Laptop eine Workstation ist“. Dieses Projekt veröffentlicht den langsamen Fall neben dem schnellen, und der langsame Fall ist wirklich langsam.

Ein Laptop auf einem Holztisch mit einer externen Festplatte daneben, deren Aktivitätsleuchte an ist, der Schein des Displays spiegelt sich auf der Tischplatte

Die Installation ist eine Batchdatei

Was colibri über eine Kuriosität hinaushebt: Jemand hat die undankbare Arbeit gemacht, es für Leute zu paketieren, die nichts kompilieren.

Unter Windows lädt man das ZIP, doppelklickt START-HERE.bat, und es bietet an, Python zu installieren, falls es fehlt. Unter Linux und macOS ist es ein git clone und ./start-here.sh. Das Skript erledigt dann fünf Dinge der Reihe nach: RAM, Platte, CPU und GPUs auslesen; ein Modell empfehlen, dessen residierender Teil plus ein minimaler Experten-Cache in den RAM passt; die Engine für die eigene Maschine bauen, wenn ein Compiler vorhanden ist, sonst ein vorkompiliertes Binary laden; das Modell mit Wiederaufnahme herunterladen; und einen lokalen Server mit Dashboard starten.

Die Mindestausstattung sind 8 GB RAM und 22 GB freier Speicher für das kleinste Modell. Eine GPU ist optional, und das README ist konkret, wann sie hilft: auf einer dedizierten Karte immer, auf einer integrierten GPU nur bei den drei Modellen, die dort als schneller gemessen wurden.

Der Server spricht zwei Dialekte, die zählen. http://127.0.0.1:8000/v1 ist eine OpenAI-kompatible Basis-URL, der nackte Port ist Anthropic-kompatibel. Der praktische Nutzen liegt also nicht im Tippen in einem Terminal. Er liegt darin, ein vorhandenes Werkzeug auf localhost zu zeigen und es glauben zu lassen, es spreche mit einem Cloud-Anbieter.

Es zeichnet auch Bilder

Die dreizehnte Engine ist die, die meine Aufmerksamkeit erregt hat, weil sie aus einem Textinferenz-Projekt etwas für Bildarbeit Relevantes macht. colibri bringt eine Qwen-Image-2.1-Engine mit. Dasselbe 7B-Modell, das Alibaba im September veröffentlichte, das mit nativen 2048×2048 und echtem Alphakanal.

Die gemessene Zahl im README: 33 GB Download, 12 bis 18 GB RAM, Vulkan für den GPU-Pfad, und ein Bild in 768×512 in zwei Minuten vierzig auf acht Zen-4-Kernen, nur CPU. Man kann es auch per HTTP unter POST /v1/images/generations ansprechen, und coli chat zeichnet das Ergebnis mit Blockzeichen im Terminal.

Zwei Minuten vierzig für ein 768×512-Bild ersetzt niemandes API-Rechnung. Aber es verschiebt, was das Modell ist. Qwen-Image-2.1 erschien unter einer reinen Research-Lizenz, was heißt: Sobald man es hinter ein bezahltes Produkt stellt, steht ein Lizenzgespräch an. Eine lokale Engine, die es auf der CPU betreibt, hat genau die Form eines Werkzeugs für die Phase davor – man evaluiert, man verkauft nicht.

Wo die Platte zum Engpass wird

Das README sagt es klar: Bei den großen Modellen bestimmt die Platte die Geschwindigkeit, und eine schnelle NVMe hilft am meisten. Das ist eine echte architektonische Einschränkung, keine Fußnote. Der sequenzielle Lesedurchsatz einer SATA-SSD liegt bei etwa einem Zehntel einer guten NVMe, und das Zugriffsmuster ist hier auch nicht vollständig sequenziell.

Deshalb denkt man colibri am ehrlichsten als Memory-Tiering-System mit Kommandozeilenschnittstelle. Man tauscht Durchsatz gegen Kapazität. Ein 429-GB-Modell passt nicht in 32 GB RAM. Es passt auf eine 1-TB-Platte. Ob der Tausch sich lohnt, hängt ganz davon ab, ob man die Fähigkeit des Modells mehr braucht als seine Geschwindigkeit.

Es gibt einen Effekt zweiter Ordnung, der für Agentenarbeit zählt. Agenten arbeiten stoßweise. Sie liegen minutenlang still und feuern dann zwanzig Werkzeugaufrufe ab. Ein lokales Modell mit zwanzig Sekunden pro Antwort ist in dieser Schleife unbrauchbar. Eines mit zwei Minuten ist es auch. Der ehrliche Anwendungsfall ist also Stapelarbeit: diesen Ordner zusammenfassen, diese vierhundert Dokumente klassifizieren, diese zwölf Produktbeschreibungen entwerfen. Läufe, bei denen man weggeht.

Was ich zuerst testen würde

Drei Dinge lohnen eine Prüfung, bevor man Plattenplatz bindet.

Kaltstart gegen Warmstart. Die 32 Sekunden im README gelten für GLM-5.2 mit warmem Page-Cache, vermutlich. Der erste Lauf nach dem Boot ist langsamer, auf einer mechanischen Platte deutlich langsamer. Selbst stoppen.

Ob das eigene Modell wirklich unterstützt wird. Dreizehn Engines sind viel für handgeschriebenes C, aber ein kleiner Ausschnitt des Open-Weight-Ökosystems. Das README merkt an, dass Checkpoints mit gleicher Architektur unverändert laufen – ein nützlicher Ausweg und zugleich ein Vorbehalt: „gleiche Architektur“ leistet in diesem Satz stille Arbeit.

Die Lizenz dessen, was man lädt. colibri selbst ändert die Bedingungen der Gewichte nicht, die es ausführt. Qwen-Image-2.1 ist nur für Forschung. Manche Sprachmodelle stehen unter MIT. Manche nicht. Die Engine ist neutral, das Modell nicht.

Warum das über ein Repo hinaus zählt

Zwei Jahre lang war die Geschichte lokaler KI eine Geschichte der Quantisierung: das Modell klein genug machen, dass es passt. Zwei Bit pro Gewicht, 4 GB VRAM, ein Telefon. Diese Arbeit ist real und hat wirklich nützliche Dinge hervorgebracht.

colibri zeigt auf eine andere Achse. Statt das Modell kleiner zu machen, die Speicherhierarchie tiefer machen. RAM ist billiger als VRAM. Die Platte ist billiger als RAM. Die Lücke zwischen „ein Modell, das existiert“ und „ein Modell, das ich laufen lassen kann“ muss nicht allein durch Kompression geschlossen werden; sie lässt sich schließen, indem man eine langsamere Stufe akzeptiert.

Das ist keine neue Idee. So arbeiten Datenbanken seit vierzig Jahren und Betriebssysteme noch länger. Neu ist, dass jemand es als Batchdatei für ein 744B-Modell ausgeliefert, die langsamen Benchmarks neben den schnellen veröffentlicht und ein Bildmodell in die Kiste gelegt hat.

Das Repo wird das API-Abo nicht ersetzen. Es könnte die Annahme ersetzen, ein 700B-Modell sei etwas, das man nur mieten kann. Und das Bild, das es auf acht CPU-Kernen in zwei Minuten vierzig zeichnet, erinnert ordentlich daran, dass „lokal“ kein Binärwert ist, sondern ein Budget, das man setzt.

Verwandte Artikel