OpenAI publicou 722 resultados matemáticos derivados de IA. Matemáticos perguntam quem fica com o crédito.

A OpenAI divulgou uma coleção de resultados matemáticos produzidos por um modelo de fronteira interno, publicando um repositório junto com formalizações em Lean para muitas das provas, além de protocolos para revisões e citações. O lançamento descreve 722 resultados, dos quais 162 foram verificados por máquina.

A recepção tem se concentrado menos em saber se a matemática está correta e mais em o que a verificação de fato garante, e a quem pertencem os resultados.

O que o Lean verifica — e o que não verifica

O Lean é um assistente de provas. Ele verifica mecanicamente cada passo de um argumento formal em relação a axiomas declarados, o que significa que uma prova verificada não pode conter lacuna lógica. Se compila, o argumento decorre das premissas.

É uma garantia forte e, ao mesmo tempo, estreita. Um assistente de provas verifica que o enunciado formal decorre das premissas. Não verifica que o enunciado formal diz o que o texto que o acompanha afirma. Um humano ainda precisa ler cada um dos 162 resultados verificados por máquina e confirmar que o arquivo Lean codifica o teorema que alguém pensa que ele codifica. A formalização é uma etapa de tradução, e traduções se desviam.

Os 560 resultados restantes não têm essa verificação, o que significa que a coleção publicada mistura duas categorias de evidência muito diferentes. Relatar “722 resultados, 162 verificados” é mais honesto do que relatar o agregado, mas também significa que o número da manchete superestima o subconjunto verificado em um fator de aproximadamente quatro e meio.

O problema do crédito ganhou uma nova forma

Matemáticos discutem a atribuição de crédito desde que a área existe, e as discussões geralmente giram em torno de quem fez a pergunta, quem encontrou o passo-chave e quem escreveu tudo. Resultados gerados por IA introduzem uma versão do problema sem precedentes.

Se um modelo produz a prova de um problema em aberto de longa data, quem é o autor? O modelo, que também não pode ser autor legal sob os atuais marcos de direitos autorais? Os pesquisadores que o instruíram? A equipe que selecionou a lista de problemas? A organização que treinou o modelo e que não está liberando os pesos?

A OpenAI diz que está trabalhando para uma divulgação responsável do modelo subjacente. Até então, a comunidade não pode reproduzir os resultados no mesmo sistema, inspecionar os dados de treinamento ou avaliar se o sucesso do modelo dependeu de ter visto problemas relacionados durante o treinamento. Publicação e reprodutibilidade são promessas diferentes, e este lançamento cumpre a primeira sem a segunda.

Há uma complicação adicional específica da matemática: a atribuição na área se baseia na compreensão. Uma prova recebe crédito em parte pela ideia que introduz, e a forma como uma ideia matemática se difunde é as pessoas lendo-a, achando-a útil e estendendo-a. Uma prova gerada por máquina que ninguém compreende plenamente é um resultado que não pode se propagar dessa maneira. Pode ser citado. Não pode facilmente servir de base para algo.

Há também uma assimetria prática que vai complicar a revisão por pares por anos. Um matemático humano que publica uma prova falha é geralmente entendido como tendo cometido um erro honesto. A consequência reputacional é proporcional. Um modelo que publica 722 resultados, alguns corretos e outros não, produz um conjunto de trabalhos em que a proporção entre corretos e incorretos é ela própria desconhecida, e em que nenhum indivíduo pode ser responsabilizado pelos errados. Os periódicos não foram feitos para lidar com submissões cuja autoria é difusa e cuja taxa de erro é uma distribuição, e não um incidente.

O problema da citação decorre diretamente disso. O progresso matemático depende de saber em quais resultados anteriores se pode confiar. Um resultado verificado por máquina em Lean é um forte candidato. Um resultado afirmado por um modelo e revisado por ninguém não é, e misturar as duas categorias em um único lançamento torna mais difícil construir sobre qualquer uma delas.

A outra história no mesmo dia

O lançamento de matemática da OpenAI chegou em uma semana com várias alegações em primeira mão e pouca verificação por terceiros.

A Mistral lançou o Large 4, um modelo de um trilhão de parâmetros posicionado como a resposta ocidental mais forte aos sistemas chineses de pesos abertos, com comparações de benchmark que uma thread de respostas conferiu linha por linha contra as pontuações publicadas pela Artificial Analysis e considerou insuficientes — especificamente, uma acusação de escolher a dedo a variante de um concorrente e de deturpar um número publicado por terceiros.

A Reflection lançou o Beam, um modelo de pesos abertos voltado para a mesma disputa, com os pesos chegando mais tarde no mês.

E a Anthropic ampliou o acesso a um modelo que encontra vulnerabilidades de software, com seus próprios números em primeira mão.

O padrão ao longo da semana é que as alegações de capacidade chegam mais rápido do que a capacidade de verificá-las. O arXiv respondeu a uma manifestação diferente da mesma pressão limitando os submissões a dois artigos por mês, depois de receber um recorde de 40.363 submissões em setembro, o dobro do número de dois anos antes.

A competição é sobre tornar as alegações utilizáveis

Há uma versão da história da IA e da matemática que é enquadrada como um placar: quantos problemas em aberto um modelo consegue fechar. O enquadramento mais útil diz respeito ao que torna um resultado utilizável por uma comunidade de pesquisa, e isso envolve várias coisas que o lançamento de um modelo não oferece por si só.

Os revisores precisam entender o argumento. A atribuição precisa ser rastreável. Outros pesquisadores precisam poder construir sobre o resultado sem rederivá-lo. E a comunidade mais ampla precisa de acesso suficiente ao sistema gerador para rodar seus próprios testes.

É nesse último ponto que o lançamento fica aquém. Uma coleção de resultados produzida por um sistema que ninguém mais consegue rodar está mais para uma demonstração do que para uma contribuição. Mostra o que é possível. Não entrega à área nada sobre o que ela possa construir de forma independente.

A matemática não é a parte difícil dessa transição. A parte difícil é que a capacidade da IA está superando as instituições criadas para verificá-la (revisão por pares, replicação de benchmarks, normas de autoria, prática de citação), e essas instituições operam em escalas de tempo humanas. Um modelo pode gerar 722 resultados em uma execução de treinamento. Descobrir quais deles importam, quem merece crédito e o que decorre deles ainda é medido em anos.

Há uma visão concorrente que vale enunciar, porque não é desarrazoada. Uma prova formal que compila é uma prova, independentemente de quem ou do que a produziu. A matemática sempre aceitou resultados por seus méritos, e não por sua procedência, e se o Lean verifica um argumento, o argumento se sustenta. Sob essa ótica, o debate sobre crédito é um problema sociológico que a área deveria resolver da maneira habitual, e a insistência na reprodutibilidade é a exigência de um tipo de acesso que nunca se exigiu de matemáticos humanos. Ninguém pede a um autor humano que divulgue seu processo de pensamento.

O contra-argumento é que se pode pedir a autores humanos que expliquem seu trabalho, e é na explicação que reside a compreensão. Uma prova que chega sem explicação é uma caixa-preta que por acaso tem uma saída verificada. A área pode citá-la e não pode ensiná-la, o que é uma perda real, mesmo que o teorema seja verdadeiro.

O conselho prático que saiu da semana se aplica a qualquer um que esteja comprando capacidade de IA, e não especificamente matemática: peça para ver as evidências, as permissões e o caminho de uma demonstração bem-sucedida até um trabalho repetível. Um resultado de benchmark e um sistema funcional são artefatos diferentes, e é na lacuna entre eles que moram as surpresas.