OpenAI veröffentlichte 722 KI-generierte Mathematik-Ergebnisse. Mathematiker fragen, wem die Anerkennung gebührt.

OpenAI veröffentlichte eine Sammlung mathematischer Ergebnisse, die von einem internen Frontier-Modell erzeugt wurden, zusammen mit einem Repository sowie Lean-Formalisierungen für viele der Beweise und Protokollen für Überarbeitungen und Zitierungen. Die Veröffentlichung beschreibt 722 Ergebnisse, von denen 162 maschinell geprüft wurden.

Die Rezeption drehte sich weniger darum, ob die Mathematik korrekt ist, als darum, was Verifikation tatsächlich bringt und wem die Ergebnisse gehören.

Was Lean prüft und was nicht

Lean ist ein Beweisassistent. Er verifiziert jeden Schritt eines formalen Arguments mechanisch gegen angegebene Axiome, was bedeutet, dass ein geprüfter Beweis keine logische Lücke enthalten kann. Wenn er kompiliert, folgt das Argument aus den Prämissen.

Das ist eine starke Garantie – und eine enge. Ein Beweisassistent verifiziert, dass die formale Aussage folgt. Er verifiziert nicht, dass die formale Aussage das besagt, was der begleitende Fließtext behauptet. Ein Mensch muss immer noch jedes der 162 maschinell geprüften Ergebnisse lesen und bestätigen, dass die Lean-Datei das Theorem kodiert, von dem jemand glaubt, dass es kodiert wird. Formalisierung ist ein Übersetzungsschritt, und Übersetzungen driften.

Die verbleibenden 560 Ergebnisse haben keine solche Prüfung, was bedeutet, dass die veröffentlichte Sammlung zwei sehr unterschiedliche Evidenzkategorien vermischt. Die Angabe „722 Ergebnisse, 162 verifiziert“ ist ehrlicher als die Gesamtzahl zu nennen, aber sie bedeutet auch, dass die Schlagzeilenzahl die verifizierte Teilmenge um etwa den Faktor 4,5 überzeichnet.

Das Anerkennungsproblem hat eine neue Form

Mathematiker streiten über die Zuschreibung von Anerkennung, seit es das Fach gibt, und die Auseinandersetzungen drehen sich üblicherweise darum, wer die Frage gestellt, wer den entscheidenden Schritt gefunden und wer die Arbeit aufgeschrieben hat. KI-generierte Ergebnisse führen eine Variante dieses Problems ein, für die es keinen Präzedenzfall gibt.

Wenn ein Modell einen Beweis für ein seit Langem offenes Problem erzeugt, wer ist dann der Autor? Das Modell, das nach geltenden Urheberrechtsrahmen auch kein rechtlicher Urheber sein kann? Die Forschenden, die es per Prompt angestoßen haben? Das Team, das die Problemliste kuratiert hat? Die Organisation, die das Modell trainiert hat und die Gewichte nicht veröffentlicht?

OpenAI sagt, man arbeite auf eine verantwortungsvolle Veröffentlichung des zugrunde liegenden Modells hin. Bis dahin kann die Community die Ergebnisse nicht auf demselben System reproduzieren, die Trainingsdaten nicht einsehen oder beurteilen, ob der Erfolg des Modells davon abhing, dass es während des Trainings verwandte Probleme gesehen hatte. Veröffentlichung und Reproduzierbarkeit sind unterschiedliche Versprechen, und diese Veröffentlichung macht das erste ohne das zweite.

Es gibt eine weitere Komplikation, die für die Mathematik spezifisch ist: Zuschreibung in diesem Feld funktioniert über Verständnis. Ein Beweis wird teilweise für die Idee gewürdigt, die er einführt, und eine mathematische Idee verbreitet sich dadurch, dass Menschen sie lesen, nützlich finden und erweitern. Ein maschinell erzeugter Beweis, den niemand vollständig durchdringt, ist ein Ergebnis, das sich auf diese Weise nicht verbreiten kann. Man kann ihn zitieren. Man kann schwer darauf aufbauen.

Es gibt außerdem eine praktische Asymmetrie, die Peer Review über Jahre erschweren wird. Wenn ein menschlicher Mathematiker einen fehlerhaften Beweis veröffentlicht, geht man im Allgemeinen davon aus, dass ihm ein ehrlicher Fehler unterlaufen ist. Die reputationsbezogenen Folgen sind verhältnismäßig. Ein Modell, das 722 Ergebnisse veröffentlicht, von denen einige korrekt und andere falsch sind, erzeugt ein Werk, bei dem das Verhältnis von korrekt zu falsch selbst unbekannt ist und bei dem niemand für die falschen verantwortlich gemacht werden kann. Fachzeitschriften sind nicht dafür gemacht, Einreichungen zu behandeln, deren Autorschaft diffus ist und deren Fehlerquote eine Verteilung statt eines Vorfalls ist.

Das Zitationsproblem folgt unmittelbar. Mathematischer Fortschritt hängt davon ab, zu wissen, auf welche früheren Ergebnisse man sich verlassen kann. Ein Ergebnis, das in Lean maschinell geprüft wurde, ist ein starker Kandidat. Ein Ergebnis, das von einem Modell behauptet und von niemandem begutachtet wurde, ist es nicht, und die beiden Kategorien in einer einzigen Veröffentlichung zu vermischen, macht es schwerer, auf irgendeine von beiden aufzubauen.

Die andere Geschichte am selben Tag

OpenAIs Mathematik-Veröffentlichung kam in einer Woche mit mehreren First-Party-Behauptungen und nicht viel unabhängiger Überprüfung durch Dritte.

Mistral brachte Large 4 auf den Markt, ein Modell mit einer Billion Parametern, positioniert als stärkste westliche Antwort auf chinesische Open-Weight-Systeme, mit Benchmark-Vergleichen, die ein Antwort-Thread Zeile für Zeile gegen die veröffentlichten Werte von Artificial Analysis prüfte und für mangelhaft befand – konkret mit dem Vorwurf, die Variante eines Konkurrenten herausgepickt und eine veröffentlichte Drittanbieter-Zahl falsch dargestellt zu haben.

Reflection veröffentlichte Beam, ein Open-Weight-Modell, das auf dieselbe Auseinandersetzung zielt, wobei die Gewichte später im Monat erscheinen sollen.

Und Anthropic weitete den Zugang zu einem Modell aus, das Software-Sicherheitslücken findet, mit eigenen First-Party-Zahlen.

Das Muster über die Woche ist, dass Fähigkeitsbehauptungen schneller eintreffen als die Fähigkeit, sie zu überprüfen. arXiv reagierte auf eine andere Erscheinungsform desselben Drucks, indem es Einreichende auf zwei Artikel pro Monat begrenzte, nachdem es im September einen Rekord von 40.363 Einreichungen erhalten hatte – doppelt so viele wie zwei Jahre zuvor.

Der Wettbewerb dreht sich darum, Behauptungen nutzbar zu machen

Es gibt eine Version der Geschichte von KI und Mathematik, die als Punktestand erzählt wird: Wie viele offene Probleme kann ein Modell schließen? Die nützlichere Rahmung dreht sich darum, was ein Ergebnis für eine Forschungsgemeinschaft nutzbar macht, und dazu gehören mehrere Dinge, die eine Modellveröffentlichung nicht von sich aus bietet.

Begutachtende müssen das Argument verstehen. Zuschreibung muss nachvollziehbar sein. Andere Forschende müssen auf dem Ergebnis aufbauen können, ohne es neu herzuleiten. Und die breitere Community braucht genug Zugang zum erzeugenden System, um eigene Tests durchzuführen.

Genau dort bleibt die Veröffentlichung zu kurz. Eine Sammlung von Ergebnissen, die von einem System erzeugt wurde, das sonst niemand ausführen kann, ist eher eine Demonstration als ein Beitrag. Sie zeigt, was möglich ist. Sie übergibt dem Feld nichts, worauf es unabhängig aufbauen kann.

Die Mathematik ist nicht der schwierige Teil dieses Übergangs. Der schwierige Teil ist, dass die KI-Fähigkeiten inzwischen die Institutionen überholen, die es gibt, um sie zu verifizieren (Peer Review, Benchmark-Replikation, Autorschaftsnormen, Zitierpraxis), und diese Institutionen arbeiten in menschlichen Zeitmaßstäben. Ein Modell kann in einem Trainingslauf 722 Ergebnisse erzeugen. Herauszufinden, welche davon wichtig sind, wem Anerkennung gebührt und was daraus folgt, dauert weiterhin Jahre.

Es gibt eine konkurrierende Sichtweise, die es wert ist, genannt zu werden, denn sie ist nicht unvernünftig. Ein formaler Beweis, der kompiliert, ist ein Beweis, unabhängig davon, wer oder was ihn erzeugt hat. Die Mathematik hat Ergebnisse schon immer nach ihren Verdiensten und nicht nach ihrer Herkunft akzeptiert, und wenn Lean ein Argument verifiziert, dann steht das Argument. Unter dieser Sicht ist die Anerkennungsdebatte ein soziologisches Problem, das das Fach auf die übliche Weise lösen sollte, und das Beharren auf Reproduzierbarkeit ist die Forderung nach einer Art von Zugang, den menschliche Mathematiker nie bieten mussten. Niemand verlangt von einem menschlichen Autor, seinen Denkprozess offenzulegen.

Das Gegenargument lautet, dass menschliche Autoren gebeten werden können, ihre Arbeit zu erklären, und dass die Erklärung der Ort ist, an dem Verständnis lebt. Ein Beweis, der ohne eine solche Erklärung ankommt, ist eine Blackbox, die zufällig einen verifizierten Output hat. Das Feld kann ihn zitieren und nicht lehren, was ein realer Verlust ist, selbst wenn das Theorem wahr ist.

Der praktische Rat, der aus dieser Woche hervorging, gilt für alle, die KI-Fähigkeiten einkaufen, nicht speziell für Mathematik: Verlangen Sie, die Belege, die Berechtigungen und den Weg von einer erfolgreichen Demonstration zu reproduzierbarer Arbeit zu sehen. Ein Benchmark-Ergebnis und ein funktionierendes System sind unterschiedliche Artefakte, und die Lücke zwischen ihnen ist der Ort, an dem die Überraschungen leben.