2,8 Billionen Parameter auf einer 4-GB-GPU: Wie AirLLM die VRAM-Mauer durchbrach

Die Mauer, an die jeder stößt

Es gibt einen bestimmten Moment, auf den jeder Entwickler stößt, der ein großes Modell lokal betreiben will. Es ist kein Könnensproblem und kein Kostenproblem. Es ist eine Zahl im Datenblatt: der Videospeicher. Ein ernsthaftes offenes Modell passt nicht auf die Grafikkarte, die die meisten besitzen, und die übliche Lösung, eine größere Karte zu kaufen, hat einen Preis erreicht, der ins Absurde gestiegen ist.

So füllte sich das Feld mit Behelfen. Die Gewichte auf vier Bit quantisieren. Einen Teil des Modells in den Systemspeicher auslagern. Die Hardware von jemand anderem mieten. Jeder funktioniert, jeder kostet etwas, und jeder verändert das Modell auf eine Weise, mit der man leben muss. Dann gibt es AirLLM, ein Repository nahe der Spitze der GitHub-Trends in diesem Monat, dessen README eine Behauptung aufstellt, die wie ein Tippfehler klingt: 2,8 Billionen Parameter, eine einzelne 4-GB-GPU.

Worin der Trick tatsächlich besteht

Die Idee hinter AirLLM ist nicht, das Modell kleiner zu machen. Sie ist, damit aufzuhören, das Ganze auf einmal im Speicher halten zu wollen. Statt jede Schicht des Netzwerks in die Grafikkarte zu laden, bevor ein Token erzeugt wird, strömt der Ansatz Schicht für Schicht durch das Modell, holt jeden Block kurz vor dem Bedarf von der Platte, nutzt ihn und gibt ihn wieder frei.

Zu jedem Zeitpunkt muss nur ein dünner Streifen des Modells im schnellen Speicher liegen. Der Rest kann auf einem Laufwerk bleiben. Die Grafikkarte wird vom Lager zum Arbeitsplatz, und die Größe des Modells setzt keine harte Obergrenze mehr für die Maschine, die es betreiben kann.

Aus demselben Grund kann ein Mensch ein tausendseitiges Buch an einem sehr kleinen Schreibtisch lesen. Man braucht nicht das ganze Buch vor sich. Man braucht die Seite, auf der man gerade ist, plus eine Möglichkeit, die nächste zu holen.

Der ehrliche Kompromiss

Wäre das Durchströmen der Schichten durch eine kleine GPU kostenlos, würden es alle längst tun, deshalb lohnt es sich, klar zu sagen, was es kostet. Die Gewichte für jedes Token von der Platte zu lesen, ist auf eine Weise langsam, die man leicht unterschätzt. Die Grafikkarte liegt brach, während sie auf Daten wartet, die sie sofort hätte nutzen können, wären sie im Speicher gewesen.

Die praktische Folge ist, dass solche Aufbauten für eine andere Art von Aufgaben taugen als ein vollständig in den Speicher geladenes Modell. Wenn Sie einen stetigen Strom schneller Antworten für ein Chat-Produkt brauchen, ist Streaming das falsche Werkzeug. Wenn Sie gelegentlich ein sehr großes Modell betreiben wollen, auf Hardware, die Sie bereits besitzen, für eine Aufgabe, bei der der Durchsatz weniger zählt als die schlichte Machbarkeit, kippt der Kompromiss zu Ihren Gunsten.

Es hilft, dies neben den vertrauteren Behelf zu stellen. Quantisierung verkleinert das Modell selbst, tauscht ein wenig Genauigkeit gegen einen geringeren Platzbedarf und verändert, was das Modell ist. Streaming lässt die Zahlen des Modells unangetastet und verschiebt, wo sie leben. Die beiden sind keine Rivalen, sie stapeln sich. Ein quantisiertes Modell, das zudem Schicht für Schicht gestreamt wird, ist kleiner und leichter als jede Technik allein, weshalb die beiden Ansätze in der Praxis meist gemeinsam auftreten.

Es gibt einen dritten, weniger beworbenen Kostenpunkt: das Laufwerk. Die Gewichte zu streamen heißt, sie bei jedem Durchlauf aus dem Speicher zu lesen, sodass eine langsame Platte in dem Moment zum neuen Engpass wird, in dem das Modell nicht mehr in den Speicher passt. Wer diesen Weg geht, lernt schnell, dass die Hardware, auf die es ankommt, nicht nur die GPU ist. Eine schnelle SSD kann hier für den Durchsatz mehr bewirken als ein paar zusätzliche Gigabyte Videospeicher.

Diese Unterscheidung, zwischen Interaktivität und Machbarkeit, ist die, die die meisten Vergleiche übersehen. Ein Modell, das auf Ihrem Schreibtisch im Schneckentempo läuft, ist immer noch ein Modell, das Sie auf Ihrem Schreibtisch betreiben können. Für einen Forscher ohne Cluster oder einen Entwickler, der einen bestimmten Prompt gegen ein bestimmtes riesiges Modell testen will, kann das genügen.

Warum das immer wieder trendet

AirLLM ist nicht neu. Es existiert lange genug, um jenen vertraut zu sein, die lokale Inferenz genau verfolgen. Es taucht in Trendlisten immer wieder auf, aus einem Grund, der weniger mit der konkreten Implementierung zu tun hat als mit dem Druck dahinter.

Modelle mit offenen Gewichten werden weiter größer. Die besten offenen Bild-, Video- und Sprachmodelle liegen heute fest in einem Bereich, den keine Consumer-Grafikkarte bequem fassen kann. Zugleich ist der Preis der speicherstarken Karten, die sie fassen könnten, gestiegen, nicht gefallen, getrieben von derselben Nachfrage, die den Rest des Hardwaremarkts umformt. Die Lücke zwischen dem, was sich betreiben lässt, und dem, was sich auf bezahlbarer Hardware betreiben lässt, wird immer breiter.

Jedes Projekt, das gegen diese Lücke anarbeitet, selbst unvollkommen, wird weiter ein Publikum finden. Die Alternative ist eine Welt, in der die Front der offenen Modelle theoretisch allen offensteht und praktisch nur denen zugänglich ist, die ein Rechenzentrum besitzen. Die Behelfe sind der Weg, auf dem das offen in offenen Gewichten ehrlich bleibt.

Was es nicht löst

Hier werden zwei verschiedene Dinge vermischt. Ein großes Modell auf einer kleinen GPU zu betreiben, ist ein Speicherproblem. Eine nützliche Ausgabe aus einem großen Modell zu bekommen, ist eine Frage der Fähigkeit, und die beiden sind nicht dasselbe. Ein Modell mit 2,8 Billionen Parametern, durch eine 4-GB-Karte gestreamt, erzeugt Text weiterhin in einem Tempo, das seine Platte und seine Bandbreite vorgeben, und die Qualität dieses Textes ist die des Modells, nicht das, was der Behelf möglich gemacht hat.

Es gibt zudem eine Lizenzdimension, die die technische Leistung nicht berührt. Ein Modell lokal betreiben zu können, sagt nichts darüber aus, ob Sie seine Gewichte für Ihren Zweck verwenden dürfen. Der beeindruckendste lokale Inferenzaufbau der Welt ist weiterhin an die Bedingungen gebunden, die dem Modell anhängen, das er ausführt.

Der größere Punkt

Die Front der lokalen KI ist kein einzelner Durchbruch. Sie ist eine lange Reihe unspektakulärer Ingenieurentscheidungen darüber, wo Daten leben, wann sie sich bewegen und worauf man zu warten bereit ist. AirLLM ist ein gutes Beispiel, weil es so unverblümt über den Handel spricht: Man gibt Geschwindigkeit auf und bekommt dafür etwas zum Laufen, das eigentlich nicht hineinpassen sollte.

Für die wachsende Zahl von Menschen, denen mehr daran liegt, was ein Modell kann, als wie schnell es das tut, ist das ein vernünftiger Handel. Und für alle anderen ist es eine Erinnerung daran, dass dieses Modell braucht X Gigabyte ebenso eine Designentscheidung ist wie eine Hardwaregrenze. Irgendwer, irgendwo, sucht immer den Schreibtisch, der kleiner ist als das Buch.