Naive AI e a aposta de US$ 1,4 bilhão no pós-treinamento

Uma startup de pesquisa recém-lançada, fundada por um professor da Universidade Tsinghua, teria alcançado uma avaliação de US$ 1,4 bilhão, e o que ela vende não é um novo modelo de fundação. A Naive AI se baseia em modelos que já existem. Sua aposta é que a metade mais barata do pipeline, a parte que vem depois do pré-treinamento, é onde a próxima rodada de ganhos será conquistada.

O relatório vem do Dealroom, publicado em 10 de outubro, e descreve a Naive AI como um laboratório jovem centrado em mid-training e pós-treinamento avançado, em vez de treinar um modelo do zero. Seu carro-chefe, Naive-N0.5-Flash, é distribuído sob a licença MIT, que é praticamente o máximo de permissividade que uma licença de código aberto pode ter. Um número de US$ 1,4 bilhão atrelado a uma empresa cuja tese inteira é "melhorar o que já existe" é a parte interessante, não o modelo em si.

Por que o pós-treinamento é a alavanca mais barata

O pré-treinamento é um problema de capital. Você precisa de milhares de aceleradores, um pipeline de dados medido em trilhões de tokens e paciência para observar uma curva de perda por meses. A Mistral treinou seu novo carro-chefe em cerca de 4.000 GPUs Nvidia Grace Blackwell ao longo de aproximadamente dois meses. Esse tipo de execução está disponível para um punhado de empresas. Não está disponível para um grupo de pesquisa com uma boa ideia.

O pós-treinamento é um orçamento diferente. Ele cobre o trabalho que transforma um modelo base em algo útil: mid-training para moldar comportamento, ajuste por instruções, aprendizado por reforço a partir de feedback e os ciclos de avaliação que dizem se algo disso ajudou. Uma equipe pequena com computação limitada pode fazer esse trabalho sobre uma base de pesos abertos e ainda produzir um modelo que as pessoas querem executar. Essa é a brecha que a Naive AI está mirando, e a razão pela qual investidores pagariam caro por isso.

O pitch também inclui autoaperfeiçoamento recursivo, que é a frase sobre a qual se deve ser cético. Em sua forma modesta, significa usar um modelo para ajudar a gerar os dados de treinamento e sinais de recompensa para a próxima versão, e então repetir. Em sua forma grandiosa, é o sonho de um sistema que se aprimora sem intervenção humana. O relatório descreve a versão modesta. Nada aqui sugere uma máquina que se auto-inicializa rumo à superinteligência durante um fim de semana, e os leitores devem tratar qualquer enquadramento que faça isso como marketing.

Há um segundo motivo pelo qual o pós-treinamento atrai atenção: ele é mensurável de uma forma que o pré-treinamento não é. Quando você melhora um modelo base, pode executá-lo nos mesmos benchmarks e ver o delta. Quando você treina do zero, a comparação é mais confusa, porque o modelo inteiro mudou de uma só vez. Uma equipe focada em pós-treinamento pode construir um argumento sólido e repetível sobre o que adicionou, que é exatamente o tipo de afirmação que convence tanto investidores quanto engenheiros.

Também permite que um laboratório escolha suas batalhas. Diferentes métodos de pós-treinamento visam comportamentos diferentes: melhor seguimento de instruções, raciocínio mais forte, recusas mais seguras, uso mais preciso de ferramentas. Uma equipe pequena pode escolher um ou dois desses e competir neles, em vez de tentar vencer em todos os lugares. Esse foco costuma ser a diferença entre um modelo de nicho que as pessoas realmente adotam e um modelo geral para o qual ninguém migra.

Isso se encaixa em um padrão que já é visível

A Naive AI não está sozinha ao apostar que estágios posteriores superam escala bruta. Nos últimos dois meses, uma série de lançamentos de pesos abertos fez o mesmo ponto de maneiras diferentes. Vários laboratórios entregaram modelos competitivos ao melhorar arquiteturas existentes em vez de inventar novas, e sua alegação principal costuma ser a mesma: resultados comparáveis a uma fração do custo de treinamento.

Os dados de mercado corroboram a pressão. Uma análise da BenchLM do início de outubro descreve lacunas cada vez menores em benchmarks selecionados de raciocínio entre modelos de pesos abertos e proprietários, além de uma queda relatada de 40% nos custos de APIs proprietárias premium. Implantações de pesos abertos, observa a análise, estão lidando com cargas de trabalho de alto volume a taxas abaixo de US$ 0,50 por milhão de tokens. Esses números precisam de contexto, já que os preços de API variam com modelo, carga de trabalho, nível de serviço e data, e uma pontuação de benchmark não prova confiabilidade no mundo real. Mas a direção é inequívoca: o preço da capacidade está caindo, e a queda está sendo impulsionada tanto por um melhor pós-treinamento quanto por execuções maiores de pré-treinamento.

O risco de uma estratégia de pós-treinamento é que ela depende do modelo base de outra pessoa. Se a base de pesos abertos sobre a qual você constrói mudar sua licença, ou lançar uma versão que muda de maneiras que você não pode controlar, seu produto fica exposto. É uma restrição real, e é por isso que laboratórios que seguem esse caminho tendem a publicar seus métodos abertamente, para que a comunidade possa manter o trabalho vivo mesmo se um único laboratório abandonar.

O que a avaliação está realmente precificando

Uma avaliação de US$ 1,4 bilhão para uma startup jovem é uma declaração sobre o futuro do desenvolvimento de modelos, e carrega uma suposição clara: a de que a vantagem está se afastando de quanto poder computacional você pode comprar e se aproximando de quão bem você consegue treinar e avaliar o que já tem. Se isso se mantém, o capital deixa de ser o único fosso, e equipes menores com métodos fortes ganham um lugar à mesa.

Se a suposição estiver errada, a história se inverte. O trabalho de pós-treinamento sobre o modelo base de outra pessoa é fácil de copiar depois que os métodos são publicados, o que costuma acontecer. Um laboratório construído inteiramente sobre esse trabalho não tem base proprietária para defender, e se todo concorrente pode reproduzir sua receita, a vantagem evapora. A avaliação pressupõe uma vantagem durável em método e dados, e o método sozinho raramente permanece secreto por muito tempo. Esse é o risco silencioso por trás do número de manchete.

A ressalva honesta é que nada disso foi verificado ainda. A avaliação é reportada, não confirmada. O desempenho alegado do modelo precisa de benchmarks independentes e medições de custo reproduzíveis antes que alguém planeje um produto em torno dele. O padrão é encorajador, mas um padrão não é uma prova.

O que torna a história digna de acompanhamento não é o dinheiro. É que o laboratório de um professor, com um punhado de pessoas e um orçamento limitado, acredita que pode ficar ao lado de empresas que gastam com poder computacional como governos gastam com infraestrutura, e fazer isso sendo mais inteligente na última milha em vez da primeira. Essa é uma afirmação testável. Os próximos meses de lançamentos de pesos abertos mostrarão se ela se sustenta.

A mudança mais ampla, se continuar, diz respeito a quem pode construir. Quando a parte cara de criar um modelo capaz é algo que você pode alugar por meio do pós-treinamento, o número de equipes que conseguem produzir algo útil cresce. Isso não significa que os maiores laboratórios perdem. Significa que o campo se amplia, e um campo mais amplo tende a produzir mais variedade, mais ferramentas de nicho e mais competição de preço. Se a Naive AI é a aposta certa ou não, ela está apostando em um futuro onde o bilhete de entrada para construir IA é menor do que parece hoje.