NVIDIAs Kumo Tabular wurde mit Daten trainiert, die es nie gab

Am 29. September hat NVIDIA Kumo Tabular veröffentlicht, eine Familie offener Foundation-Modelle, die für eine Art von Daten gebaut wurde, die der KI-Boom weitgehend ignoriert hat. Wenn man einem dieser Modelle eine Tabelle mit einigen ausgefüllten Zeilen übergibt, sagt es den Rest voraus – ohne Training pro Datensatz. Das Ungewöhnliche ist nicht, was es tut, sondern womit es trainiert wurde.

Kumo Tabular wurde vollständig auf künstlichen Tabellen vortrainiert. NVIDIA erzeugte sie durch Sampling aus strukturellen Kausalmodellen, also mathematischen Beschreibungen davon, wie Variablen einander beeinflussen. Das Modell hat nie einen Kundendatensatz gesehen und nie die Benchmark-Tabellen, auf denen es später getestet werden würde. Das ist eine bewusste Entscheidung und unterscheidet diese Veröffentlichung von der üblichen Art, wie Modelle entwickelt werden.

Warum Tabellendaten der blinde Fleck waren

Der Großteil der Geschäftsdaten weltweit steckt in Tabellen. Tabellenkalkulationen, Datenbanken, CRM-Exporte, Finanzbücher, Krankenakten: Zeilen und Spalten, durch und durch. Large Language Models sind bemerkenswert gut bei Text und zunehmend gut bei Bildern und Videos, aber Tabellen waren eine hartnäckige Lücke. Ein Sprachmodell kann eine Tabelle als Text lesen, aber das ist nicht dasselbe wie die Beziehungen zwischen Spalten zu verstehen, worauf es bei der Vorhersage auf Tabellendaten tatsächlich ankommt.

Der traditionelle Ansatz besteht darin, für jeden Datensatz ein separates Modell zu trainieren. Das funktioniert, ist aber langsam und lässt sich nicht ohne Weiteres übertragen. Jede neue Tabelle braucht ihren eigenen Trainingslauf, ihr eigenes Tuning, ihre eigene Wartung. Ein Foundation-Modell für Tabellen, das jede Tabelle ansehen und mit wenig oder gar keinem zusätzlichen Training Vorhersagen treffen kann, ist seit Langem ein naheliegendes Ziel, aber schwer zu erreichen, weil Tabellen sich enorm in ihrer Struktur unterscheiden und oft klein, unordentlich und sensibel sind.

Das Argument für synthetische Daten

Das Training auf synthetischen Tabellen löst mehrere Probleme gleichzeitig. Erstens den Datenschutz. Echte Geschäftstabellen enthalten oft personenbezogene oder vertrauliche Informationen, was sie für Training in großem Maßstab heikel und die Veröffentlichung eines Modells riskant macht. Ein Modell, das aus generierten Daten gelernt hat, umgeht das vollständig.

Zweitens die Kontamination. Wenn man auf derselben Art von Daten trainiert, auf denen man später testet, können Benchmark-Ergebnisse eher Auswendiglernen als echte Fähigkeit widerspiegeln. Da Kumo Tabular ausschließlich auf synthetischen Tabellen trainiert wurde, kann es keine einzige Benchmark-Zeile auswendig gelernt haben, denn keine davon existierte, als das Modell gebaut wurde. Auf den ersten Blick macht das die berichteten Ergebnisse sauberer als die meisten.

Drittens die Generalität. Durch Sampling aus Kausalmodellen gab NVIDIA den Trainingsdaten eine vielfältige Menge zugrunde liegender Beziehungen. Ein Modell, das viele verschiedene Arten gesehen hat, wie Variablen einander beeinflussen können, hat bessere Chancen, eine Tabelle zu bewältigen, der es nie begegnet ist, als eines, das überwiegend einen schmalen Ausschnitt von Strukturen gesehen hat. Ob sich diese Wette auszahlt, ist die eigentliche Frage hinter der Veröffentlichung.

Die Ergebnisse und was sie bedeuten

NVIDIA sagt, Kumo Tabular belege den ersten Platz in TabArena, einem öffentlichen Benchmark für Tabellenvorhersage. Außerdem berichtet NVIDIA, dass das Modell etwa 17-mal schneller vorhersagt als LimiX-2, ein früheres tabellarisches Foundation-Modell eines Teams der Tsinghua-Universität. Die Geschwindigkeitsangabe ist eine Abwägung wert, denn oft entscheiden die Inferenzkosten darüber, ob ein Modell eingesetzt wird. Ein Modell, das etwas besser, aber viel langsamer ist, lässt sich in einer Produktionspipeline, in der ständig Vorhersagen laufen, schwer rechtfertigen.

Wenn die Zahlen externen Tests standhalten, besteht der praktische Effekt in einer Verschiebung dessen, wie Tabellenvorhersage durchgeführt wird. Statt für jeden Datensatz ein neues Modell zu trainieren, könnten Teams ein einziges Modell von der Stange verwenden, es bei Bedarf leicht fine-tunen und in Sekunden Vorhersagen erhalten. Das ist derselbe Sprung, der bei Text stattgefunden hat, wo ein allgemeines Modell für die meisten Aufgaben ein maßgeschneidertes ersetzte, und es würde Tabellen in denselben Workflow bringen, auf dem der Rest der KI heute läuft.

Wo die Risiken liegen

Training ausschließlich auf synthetischen Daten hat eine echte Schwäche, und sie ist das Spiegelbild seiner Stärke. Echte Tabellen sind auf eine Weise unordentlich, wie es generierte möglicherweise nicht sind. Daten werden falsch eingegeben, Spalten ändern im Laufe der Zeit ihre Bedeutung, fehlende Werte verstecken sich offen sichtbar, und die Beziehungen zwischen Variablen sind nicht immer die sauberen, die ein Kausalmodell kodieren würde. Wenn Kumo Tabular aus einer allzu aufgeräumten Welt gelernt hat, könnte es genau dort straucheln, wo es am meisten funktionieren muss: bei den fehlerhaften Tabellen, die in der Praxis existieren.

Außerdem gibt es die übliche Kluft zwischen Benchmark und Einsatz. TabArena zu gewinnen ist ein aussagekräftiges Signal, aber kein Beweis dafür, dass das Modell ein gut abgestimmtes spezialisiertes Modell bei einem bestimmten schwierigen Problem schlagen wird. Teams mit einer wertvollen Vorhersageaufgabe sollten Kumo Tabular dennoch an ihren eigenen Daten gegen ihren aktuellen Ansatz testen, bevor sie wechseln, so wie sie jedes neue Werkzeug testen würden.

Ein leiseres Bedenken ist die Interpretierbarkeit. Wenn man ein Modell pro Datensatz trainiert, weiß man oft mehr darüber, wie es zu seinen Antworten gelangt. Ein allgemeines Foundation-Modell ist eher eine Blackbox, und bei regulierten Entscheidungen in Finanzen, Versicherungen oder Medizin kann eine Blackbox unabhängig von der Genauigkeit ein Ausschlusskriterium sein. Der Wert des Modells in diesen Umgebungen hängt davon ab, ob es gut genug erklärt werden kann, um die Personen zufriedenzustellen, die es absegnen müssen.

Warum ein Bild- und Sprachunternehmen das tut

Es lohnt sich zu bemerken, wer das veröffentlicht hat. NVIDIAs Ruf beruht auf den Chips, die KI trainieren, und zunehmend auf der Software drumherum. Ein tabellarisches Foundation-Modell passt in dieses Bild. Die meisten Unternehmens-KI-Projekte erreichen nie eine schicke Demo, weil der schwierige Teil meist die langweilige Vorhersage in einer Tabellenkalkulation ist, nicht der Chatbot. Ein starkes, offenes und schnelles Modell für diesen langweiligen Teil zu liefern, ist ein Weg, den gesamten KI-Stack nützlicher zu machen, was wiederum die Nachfrage nach der Hardware darunter aufrechterhält.

Es gibt auch einen pragmatischen Aspekt für Käufer. Kleine und mittlere Unternehmen haben selten Data-Science-Teams, um für jeden Datensatz ein Modell zu trainieren. Ein Foundation-Modell, das sofort einsatzbereit ist und das jedes Team herunterladen und ausführen kann, senkt die Hürde, Vorhersage überhaupt zu nutzen. Das ist dieselbe Dynamik, die Sprach-KI von einer Forschungsneugier zu einem Standardwerkzeug gemacht hat: Die Modelle wurden allgemein genug, dass man kein Spezialist mehr sein musste, um von ihnen zu profitieren. Tabellen sind die letzte große Kategorie, die auf diesen Moment wartet, und diese Veröffentlichung ist ein Argument dafür, dass der Moment nahe sein könnte.

Vorerst ist Kumo Tabular eine konkrete Antwort auf eine Frage, die das Feld seit Jahren stellt: Kann ein einzelnes Modell Tabellen bewältigen, die es nie gesehen hat? Die Behauptung, dass es das kann – trainiert nur auf Daten, die nie existierten –, ist entweder ein bemerkenswerter Fortschritt oder ein Benchmark-Artefakt, und der Unterschied wird sich in den Monaten zeigen, in denen Leute es auf echten Tabellenkalkulationen ausprobieren. Das ist der Test, der zählt, und er beginnt jetzt.