Blog

Entdecken Sie Tipps, Tutorials und Einblicke zur generativen KI

2,8 Billionen Parameter auf einer 4-GB-GPU: Wie AirLLM die VRAM-Mauer durchbrach

2,8 Billionen Parameter auf einer 4-GB-GPU: Wie AirLLM die VRAM-Mauer durchbrach

2,8 Billionen Parameter auf einer 4-GB-GPU, das klingt nach einem Tippfehler. Die Idee hinter AirLLM ist nicht, das Modell zu verkleinern, sondern damit aufzuhören, es ganz im Speicher halten zu wollen: Schicht für Schicht von der Platte lesen, nutzen, freigeben. Der Preis ist Geschwindigkeit, dafür läuft, was eigentlich nicht passen sollte.

Ai·13. Okt. 2026·ca. 6 Min. Lesezeit