Ein chinesischer GPU-Hersteller veröffentlicht Trainingszahlen und lässt die Vergleichsbasis weg

Am 6. November veröffentlichte Moore Threads auf einer Telekommunikationskonferenz in China eine Reihe von Trainingsergebnissen für die Plattform MTTS5000. Die Kernaussagen sind konkret genug, um grundsätzlich prüfbar zu sein: ein Mixture-of-Experts-Modell mit 236 Milliarden Parametern, von Grund auf trainiert, ein Korpus von mehr als 25 Billionen Tokens, MMLU-Werte auf dem Niveau international üblicher Rechenkarten und eine effektive Trainingszeit über 90%.
Die Plattform läuft auf PH100-Chips, die laut Unternehmen zur ersten Charge gehörten, die Chinas nationale Prüfung für Informationssicherheit bestanden hat, dazu der MUSA-Software-Stack.
Es gibt viel auszupacken, und eine große Lücke. Alle Zahlen sind selbst berichtet, und das Vergleichsziel heißt nur internationale, gängige Trainings-GPUs, ohne ein Modell zu nennen. Diese Formulierung deckt alles ab, vom aktuellen Flaggschiff bis zur drei Jahre alten Karte. Solange die Referenz keinen Namen und keine Konfiguration hat, sind die Faktoren Marketing.
Einige der Aussagen sind trotzdem aussagekräftiger als ein Durchsatzverhältnis, und eine davon verdient Aufmerksamkeit.
Die Zahl, auf die es ankommt
Eine effektive Trainingszeit über 90% ist die unspektakulärste Angabe der Ankündigung und die aufschlussreichste. Sie misst den Anteil der Laufzeit, in dem der Cluster nützliche Arbeit verrichtet hat statt zu warten: auf einen ausgefallenen Knoten, einen hängenden Checkpoint, einen Netzwerkausfall, einen Job-Neustart.

Peak-FLOPS sind eine Zahl aus dem Datenblatt. Effektive Trainingszeit ist eine Betriebszahl. Große Cluster sind dafür bekannt, deutlich unter ihrer theoretischen Auslastung zu bleiben, und die Ursachen liegen selten im Chip. Sie liegen im Verhalten des Schedulers, in der Stabilität des Interconnects, in der Fehlerbehebung und darin, wie viel des Stacks der Hersteller selbst geschrieben und wie viel er geliehen hat.
Ein nationaler Stack, der bei einem von Grund auf trainierten 236-Milliarden-MoE 90% hält, behauptet etwas Schwierigeres als eine schnellere Matrixmultiplikation. Er behauptet, dass die langweiligen Teile funktionieren. Ob das stimmt, ist eine andere Frage, aber es ist die richtige Behauptung.
Die Fehlerbilder, die einen Cluster unter 90% drücken, sind gut dokumentiert und keines ist glamourös: eine nachlaufende GPU, die den gesamten synchronen Schritt bremst, ein Checkpoint-Schreibvorgang, der das Training Minuten blockiert, ein Fabric, das unter Allreduce-Verkehr einbricht, ein Scheduler, der Karten zwischen Jobs leer laufen lässt. Das zu beheben ist Softwarearbeit in Ingenieurjahren, und es ist genau der Teil, den ein Datenblatt nicht zeigen kann.
Warum der Start bei null zählt
Die meisten Ankündigungen nationaler Beschleuniger handeln von Fine-Tuning oder Inferenz, weil beides einfacher ist und schneller Ergebnisse liefert. Ein 236-Milliarden-MoE aus zufälliger Initialisierung auf 25 Billionen Tokens zu trainieren, ist eine andere Klasse von Aussage: Monate Dauerbetrieb, Checkpoint-Verwaltung im großen Maßstab und eine Loss-Kurve, die entweder konvergiert oder nicht.
MMLU-Gleichstand ist dafür ein schwacher Stellvertreter. Der Benchmark ist gesättigt, und ein Modell kann über sehr unterschiedliche Trainingspfade nahe am selben Wert landen. Was er belegt, ist, dass der Lauf nicht zusammengebrochen ist. Ein kaputter verteilter Trainingsjob erzeugt kein Modell, das im normalen Bereich punktet.
Die anderen zwei Punkte der Ankündigung sind interessanter als MMLU. Das Unternehmen sagt, derselbe Stack habe das Weltmodell EvoPhys-World5D der Peking-Universität nativ trainiert, und das Modell habe in der Dimension Weltgenerierung von Stanfords WorldScore 37 Tage in Folge Platz eins gehalten. Außerdem habe man das Training von RoboBrain2.5, einem embodied Modell der Beijing Academy of Artificial Intelligence, durchgängig unterstützt.
Das sind Fremd-Workloads mit genannten Eigentümern, damit leichter zu widerlegen als ein eigener Benchmark. Wenn die Modelle existieren und der Platz im Ranking echt ist, hat der Cluster etwas geleistet.
Die Aussage zum autonomen Fahren
Der einzige Faktor mit einem konkreten Workload hängt an der BEV-Wahrnehmung für autonomes Fahren: Einzel- und Doppelmaschinen-Durchsatz beim Training liegen laut Unternehmen beim 1.56- bis 1.67-Fachen einer international üblichen Trainings-GPU.
Wahrnehmungsmodelle sind ein fairer Test. Sie sind mittelgroß, datenhungrig und empfindlich gegenüber Speicherbandbreite und Interconnect, also genau dort, wo eine neuere Architektur gewinnen oder verlieren kann. Ein Faktor von 1.6 auf diesem Workload ist für einen gut abgestimmten Stack gegen eine ältere Karte plausibel und gegen die aktuelle Spitze ohne viel Kontext zu Batchgröße und Präzision unplausibel.
Kontext wurde keiner geliefert.
Was das glaubwürdig machen würde
Drei Offenlegungen würden das meiste klären.
Die Referenzkarte nennen, ihre Speicherkonfiguration und die Interconnect-Topologie. Ein Durchsatzvergleich ohne das ist kein Vergleich.
Die Loss-Kurve und den Token-Durchsatz für den 236-Milliarden-Lauf veröffentlichen, nicht nur das finale MMLU. Trainingseffizienz zeigt sich in der Kurve lange bevor sie in einem Benchmark auftaucht.
Und angeben, welcher Anteil des Trainingscodes MUSA-nativ ist und welcher aus CUDA portiert wurde. Portierungen sind in Ordnung. Portierungen als nativ zu bezeichnen ist eine andere Aussage, und genau die interessiert Unternehmen, wenn sie eine Migration planen.
Nichts davon ist eine ungewöhnliche Frage. Jeder Käufer eines Trainingsclusters fragt das vor der Unterschrift, und die Antworten stehen normalerweise unter NDA statt in einer Keynote.
Es gibt einen Grund, warum Anbieter die Zahlen veröffentlichen, die sie veröffentlichen. Unternehmenskäufer in China können konkurrierende Beschleuniger kaum selbst benchmarken, weil der Vergleich beide Plattformen in einem Raum verlangt und Exportkontrollen diesen Raum schwer zusammenbringen. In diesem Vakuum wird eine Anbieterpräsentation zum Referenzdokument, und eine Behauptung, die in genug Konferenzvorträgen wiederholt wird, beginnt als Tatsache zu funktionieren.
Diese Lücke ist der Unterschied zwischen einer Beschaffungsentscheidung und einer Pressemitteilung.
Die strategische Lesart
Die Geschichte nationaler Beschleuniger in China ist durch drei Phasen gegangen: Inferenz laufen lassen, Fine-Tuning betreiben, Training betreiben. Diese Ankündigung versucht, die dritte zu schließen. Das interessante Detail ist, dass die Aussage jetzt an einem vollständigen Trainingslauf eines großen MoE hängt statt an einem Benchmark-Kernel.
Wenn die Zahlen einer unabhängigen Reproduktion standhalten, reicht die praktische Folge weiter als ein verlorener Verkauf für Nvidia: Ein chinesisches Labor kann einen Trainingslauf in Frontier-Größe ohne Exportlizenz planen, und das verschiebt den Planungshorizont stärker als den Preis.
Wenn sie nicht standhalten, markiert die Ankündigung trotzdem etwas: den Punkt, an dem es nicht mehr um Gleichwertigkeit bei Inferenz ging, sondern um Gleichwertigkeit beim Training. Diese Aussage lässt sich schwerer zurücknehmen, und die nächsten Zahlen werden daran gemessen.
Verwandte Artikel
Der Verwaltungsrat baute nebenbei einen Exportausschuss
Nur eines der beiden Ereignisse vom 17. November wurde zur Schlagzeile. Das andere verändert das Unternehmen wahrscheinlicher: ein ständiger Ausschuss für Exportkontrolle.
Nvidia hat nie eine zweite Reihe gebaut
Nvidia hat dreiunddreißig Jahre auf die Autorität eines Gründers gebaut. Die Suche nach seinem Nachfolger zeigt, was dabei nie mitgebaut wurde: eine zweite Reihe.
Zehn Abstufungen, keine einzige neue Zahl
Niemand hat neue Daten zum Auftragsbestand geliefert. Geändert hat sich nicht die Mitte der Prognose, sondern die Breite der Spanne – und das reicht für zehn Abstufungen.
Ein Konzern, vier Billionen Dollar und eine einzige Person
In neun Tagen wechselt Nvidia den Chef, baut den Verwaltungsrat um und legt trotzdem Zahlen vor. Der Markt hat in dieser Zeit vor allem eines getan: einen Preis für einen einzigen Menschen gefunden.