35 Milliarden Parameter auf einem Smartphone, vom Demo zum Alltag

35 Milliarden Parameter auf einem Smartphone, vom Demo zum Alltag

Am 13. Oktober hat ModelBest (面壁智能) eine neue Generation multimodaler On-Device-Großmodelle vorgestellt, MiniCPM-V4.7, und zwar gleich in zwei Versionen: 35B-A3B und 1B. Auf den ersten Blick eine Routine-Iteration, doch das Modell 35B-A3B verdient einen zweiten Blick: 35 Milliarden Parameter insgesamt, MoE-Architektur (Mixture of Experts), wobei pro Inferenz nur rund 3 Milliarden Parameter aktiviert werden. Das Unternehmen nennt es „das erste Open-Source-MoE-Modell, das am Edge verlustfrei und flüssig läuft“, und im Betrieb belegt es nur etwa 3GB Speicher.

Auf einem iPad Pro gemessen liegt die Dekodiergeschwindigkeit über 15 token/s. Man stellt eine Frage, es antwortet, ohne dass man einem Fortschrittsbalken beim Kriechen zusehen muss.

Das Dilemma von MoE am Edge

MoE ist beliebt, weil die Rechnung aufgeht: das Modell in viele „Experten“ aufteilen und jedes Mal nur einige davon aufwecken. Die Gesamtzahl der Parameter kann riesig sein, während der tatsächliche Rechenaufwand dem eines kleinen Modells nahekommt. Dieser Weg ist in der Cloud bequem, wo es in den Rechenzentren reichlich VRAM gibt.

An den Edge verlagert wird es unangenehm. Der Engpass ist nicht die Rechenleistung, sondern der Speicher. Alle Experten müssen vorab geladen werden, weil niemand weiß, welcher beim nächsten Token gebraucht wird. 35 Milliarden Parameter in üblicher Präzision bedeuten Dutzende GB, und der Arbeitsspeicher des Handys ist sofort am Limit. Am Edge werden „leistungsfähig“ und „läuft“ zu einer Entweder-oder-Frage.

Den nächsten Experten vorab aufwecken

Die Lösung von ModelBest heißt LES, Lookahead Expert Scheduling. Der Gedanke ist nicht geheimnisvoll: Wenn sich vorhersagen lässt, welche Experten zum Einsatz kommen, dann sagt man es eben vorher. Während die aktuelle Matrixberechnung noch läuft, entscheidet das System, welche Experten als Nächstes aufgerufen werden, und lädt sie früher in den Speicher, sodass Laden und Rechnen überlappen.

Anders gesagt: Aus „kurzfristig ins Lager laufen und Ware holen“ wird „während man arbeitet, reicht einem jemand das nächste Stück vorab“. Laut Unternehmen ist dies derzeit die einzige Open-Source-Lösung dieser Art in der Branche.

Zwei Versionen, jede für ihren Bereich

35B-A3B übernimmt es, Fähigkeiten auf Flaggschiff-Niveau an den Edge zu bringen. Es zielt auf Szenarien wie diese: man möchte ein Verständnis nahe am Cloud-Niveau, will die Daten aber nicht hinausschicken. Offline-Dokumenten-Q&A, sofortige Erkennung per Foto, Sprachassistenten ohne Netz, all das liegt in Reichweite. Die 1B-Version treibt die Effizienz auf die Spitze, mit dem Ziel, dass mehr Geräte sie ausführen können, nicht nur einige wenige Flaggschiffe.

Am Tag der Veröffentlichung hat MiniCPM-V4.7 die Anpassung an Chipplattformen wie Rockchip, NVIDIA, Intel und Apple abgeschlossen, unterstützt iOS, Android und HarmonyOS und hat den Edge-Anpassungscode sowie gängige Inferenz-Frameworks offengelegt. Die Botschaft ist klar: kein Labor-Demo, sondern etwas, das Entwickler direkt übernehmen und ausliefern können.

Die Weggabelung hinter 60 Millionen Downloads

Die MiniCPM-Reihe, gemeinsam von ModelBest und der OpenBMB-Community gepflegt, hat die Marke von 60 Millionen kumulierten Downloads überschritten und deckt Text, Vision und Sprache ab. Diese Zahl ist in der Open-Source-Szene nicht klein und zeigt, dass die Linie der kleinen Edge-Modelle eine stabile, echte Nachfrage bedient, nicht bloß Herstellerrede.

In derselben Woche gab es aus dem heimischen Edge- und Open-Source-Lager weitere Bewegungen. Xiaomi hat die MiMo-V2.6-Reihe quelloffen gemacht; die Flaggschiff-Pro-Version hat 1,02 Billionen Gesamtparameter, etwa 42 Milliarden aktiviert, einen Kontext von 1 Million Token, folgt einem Reinforcement-Learning-Weg der „rekursiven Selbstverbesserung“ und hat ungewöhnlicherweise auch die RL-Trainingskosten offengelegt. Das Institut für Automatisierung der Chinesischen Akademie der Wissenschaften hat gemeinsam mit dem Wuhan-Institut für Künstliche Intelligenz Zidong Taichu ZDTaichu5.0-9B quelloffen gemacht und neben den Gewichten eine komplette Produktionspipeline für räumliche multimodale Daten veröffentlicht, von der Datenerfassung und -bereinigung bis zur 3D-Annotation und Syntheseprüfung.

Diese Projekte haben eines gemeinsam: Geliefert wird nicht mehr nur ein Modell, sondern eine Methode, „wie man eigene Daten in Modellfähigkeiten verwandelt“. Für Teams, die in ihrer Branche etwas umsetzen wollen, ist Letzteres oft wertvoller.

Was der Edge tatsächlich löst

Cloud-Modelle sind klüger, das wird sich kurzfristig nicht ändern. Der Wert des Edge liegt nicht in der absoluten Fähigkeit, sondern in einigen sehr konkreten Dingen: stabile Latenz, Nutzbarkeit ohne Netz, Daten, die das Gerät nicht verlassen. Für alle, die interne Unternehmenswerkzeuge, Medizin- oder Industrieinspektion, Bildungs-Hardware bauen, zählen die letzten beiden oft mehr als ein paar zusätzliche Benchmark-Punkte.

Man sollte auch den Abstand klar sehen. 35B-A3B aktiviert pro Durchlauf 3 Milliarden Parameter, seine Fähigkeit liegt grob im Bereich kleiner und mittlerer Modelle und ist noch nicht dasselbe wie die besten geschlossenen Modelle. Verlustfreier Betrieb am Edge löst „läuft“, nicht „läuft am besten“. Betrachtet man es als einen offline nutzbaren, privaten, jederzeit bereiten Assistenten, sind die Erwartungen treffsicherer.

Zum Schluss

Im vergangenen Jahr lag das Hauptschlachtfeld des Wettrennens um große Modelle bei Parametern und Ranglisten. Doch wenn der Parameterkrieg ein gewisses Maß erreicht, beginnt „passt es in das Gerät in der Hand der Nutzer“ zu einer neuen Wasserscheide zu werden. Das Interessante an MiniCPM-V4.7 ist nicht, dass es wieder irgendeinen Wert verbessert hat, sondern dass es „MoE am Edge laufen lassen“ von einem Slogan zu einer reproduzierbaren Ingenieurlösung vorangebracht hat.

Die Fantasie des Edge liegt nicht darin, die Cloud zu kopieren, sondern in den Ecken, die die Cloud nicht erreicht: unterirdische Serverräume, Berge ohne Signal und ganz normale Arbeitsplätze, die ihre Arbeitsunterlagen nicht woanders hochladen wollen. Diese Szenarien kommen nicht in die Schlagzeilen, aber sie sind der eigentliche Markt für Edge-Modelle.