OpenAI publicó 722 resultados matemáticos derivados de IA. Los matemáticos preguntan quién recibe el crédito.

OpenAI publicó una colección de resultados matemáticos producidos por un modelo frontera interno, junto con un repositorio que incluye formalizaciones en Lean para muchas de las demostraciones y protocolos para revisiones y citas. La publicación describe 722 resultados, de los cuales 162 están verificados por máquina.

La recepción se ha centrado menos en si las matemáticas son correctas y más en qué aporta realmente la verificación, y a quién pertenecen los resultados.

Qué verifica Lean y qué no

Lean es un asistente de demostraciones. Verifica mecánicamente cada paso de un argumento formal contra axiomas declarados, lo que significa que una demostración verificada no puede contener una laguna lógica. Si compila, el argumento se deduce de las premisas.

Es una garantía fuerte y, a la vez, limitada. Un asistente de demostraciones verifica que se deduce el enunciado formal. No verifica que el enunciado formal diga lo que afirma el texto que lo acompaña. Una persona todavía tiene que leer cada uno de los 162 resultados verificados por máquina y confirmar que el archivo Lean codifica el teorema que alguien cree que codifica. La formalización es un paso de traducción, y las traducciones se desvían.

Los 560 resultados restantes no tienen esa verificación, lo que significa que la colección publicada mezcla dos categorías de evidencia muy diferentes. Informar "722 resultados, 162 verificados" es más honesto que informar el agregado, pero también significa que la cifra titular sobreestima el subconjunto verificado por un factor de aproximadamente cuatro y medio.

El problema del crédito tiene una nueva forma

Los matemáticos han discutido la asignación de crédito desde que existe la disciplina, y las discusiones suelen girar en torno a quién planteó la pregunta, quién encontró el paso clave y quién lo redactó. Los resultados generados por IA introducen una versión del problema sin precedentes.

Si un modelo produce una demostración de un problema abierto de larga data, ¿quién es el autor? ¿El modelo, que además no puede ser autor legal según los marcos de derechos de autor actuales? ¿Los investigadores que le dieron las indicaciones? ¿El equipo que curó la lista de problemas? ¿La organización que entrenó el modelo, y que no está liberando los pesos?

OpenAI dice que está trabajando para una liberación responsable del modelo subyacente. Hasta entonces, la comunidad no puede reproducir los resultados en el mismo sistema, inspeccionar los datos de entrenamiento ni evaluar si el éxito del modelo dependió de haber visto problemas relacionados durante el entrenamiento. Publicación y reproducibilidad son promesas distintas, y esta publicación cumple la primera sin la segunda.

Hay una complicación adicional específica de las matemáticas: la atribución en la disciplina se basa en la comprensión. Una demostración recibe crédito en parte por la idea que introduce, y la manera en que se difunde una idea matemática es que la gente la lea, le encuentre utilidad y la extienda. Una demostración generada por máquina que nadie comprende del todo es un resultado que no puede propagarse de ese modo. Se puede citar. No es fácil construir sobre ella.

También hay una asimetría práctica que complicará la revisión por pares durante años. Cuando un matemático humano publica una demostración defectuosa, en general se entiende que cometió un error honesto. La consecuencia reputacional es proporcional. Un modelo que publica 722 resultados, algunos correctos y otros no, produce un corpus en el que la proporción de correctos respecto de incorrectos es en sí misma desconocida, y en el que ningún individuo puede rendir cuentas por los incorrectos. Las revistas no están construidas para manejar envíos cuya autoría es difusa y cuya tasa de error es una distribución en lugar de un incidente.

El problema de las citas se deriva directamente. El progreso matemático depende de saber en qué resultados previos se puede confiar. Un resultado que ha sido verificado por máquina en Lean es un candidato sólido. Un resultado que ha sido afirmado por un modelo y revisado por nadie no lo es, y mezclar las dos categorías en una sola publicación dificulta construir sobre cualquiera de ellas.

La otra historia del mismo día

La publicación de matemáticas de OpenAI llegó en una semana con varias afirmaciones de primera parte y no mucha verificación de terceros.

Mistral lanzó Large 4, un modelo de un billón de parámetros posicionado como la respuesta occidental más fuerte a los sistemas chinos de pesos abiertos, con comparaciones de benchmarks que un hilo de respuestas verificó línea por línea contra las puntuaciones publicadas de Artificial Analysis y encontró deficientes; en concreto, una acusación de seleccionar sesgadamente la variante de un competidor y de tergiversar una cifra publicada por terceros.

Reflection lanzó Beam, un modelo de pesos abiertos orientado a la misma disputa, cuyos pesos llegarán más adelante este mes.

Y Anthropic amplió el acceso a un modelo que encuentra vulnerabilidades de software, con sus propias cifras de primera parte.

El patrón de la semana es que las afirmaciones de capacidad llegan más rápido que la capacidad para verificarlas. arXiv respondió a una manifestación distinta de la misma presión limitando a los remitentes a dos artículos al mes, después de recibir un récord de 40.363 envíos en septiembre, el doble de la cifra de dos años antes.

La competencia gira en torno a hacer utilizables las afirmaciones

Hay una versión de la historia de la IA y las matemáticas que se enmarca como un marcador: cuántos problemas abiertos puede cerrar un modelo. El encuadre más útil tiene que ver con qué hace que un resultado sea utilizable por una comunidad de investigación, y eso implica varias cosas que la publicación de un modelo no proporciona por sí sola.

Los revisores necesitan entender el argumento. La atribución debe ser rastreable. Otros investigadores deben poder construir sobre el resultado sin volver a deducirlo. Y la comunidad en general necesita suficiente acceso al sistema generador para ejecutar sus propias pruebas.

Ese último punto es donde la publicación se queda corta. Una colección de resultados producida por un sistema que nadie más puede ejecutar se acerca más a una demostración que a una contribución. Muestra lo que es posible. No le entrega al campo nada sobre lo que pueda construir de forma independiente.

Las matemáticas no son la parte difícil de esta transición. La parte difícil es que la capacidad de la IA ahora está superando a las instituciones que existen para verificarla (revisión por pares, replicación de benchmarks, normas de autoría, práctica de citas), y esas instituciones funcionan a escalas de tiempo humanas. Un modelo puede generar 722 resultados en una ejecución de entrenamiento. Determinar cuáles importan, quién merece crédito y qué se sigue de ellos todavía se mide en años.

Hay una visión competidora que vale la pena exponer, porque no es irrazonable. Una demostración formal que compila es una demostración, sin importar quién o qué la produjo. Las matemáticas siempre han aceptado resultados por sus méritos y no por su procedencia, y si Lean verifica un argumento, el argumento se sostiene. Bajo esa visión, el debate sobre el crédito es un problema sociológico que la disciplina debería resolver de la manera habitual, y la insistencia en la reproducibilidad es una demanda de un tipo de acceso que nunca se les ha exigido proporcionar a los matemáticos humanos. Nadie le pide a un autor humano que publique su proceso de pensamiento.

El contraargumento es que a los autores humanos sí se les puede pedir que expliquen su trabajo, y que la explicación es donde vive la comprensión. Una demostración que llega sin ella es una caja negra que da la casualidad de tener una salida verificada. La disciplina puede citarla y no puede enseñarla, lo cual es una pérdida real incluso si el teorema es verdadero.

El consejo práctico que surgió de la semana se aplica a cualquiera que compre capacidad de IA y no específicamente matemáticas: pida ver la evidencia, los permisos y el camino desde una demostración exitosa hasta un trabajo repetible. Un resultado de benchmark y un sistema en funcionamiento son artefactos distintos, y la brecha entre ellos es donde viven las sorpresas.