DeepInfer: o motor de inferência do DeepSeek, aberto — e o que ficou de fora

O DeepSeek publicou esta semana o DeepInfer: o framework de inferência que roda o próprio tráfego de produção em larga escala, agora disponível sob Apache 2.0. Passou de 25 mil estrelas em um mês sem evento de lançamento, o que diz muito sobre a fome que existe por ver como um laboratório de ponta realmente serve um modelo.
Antes de alguém sair comparando com o vLLM num domingo à tarde, leia a seção do README que lista o que não está no pacote. É o parágrafo mais honesto do repositório.
O que você recebe
O DeepInfer é um motor de inferência offline para exatamente um modelo: DeepSeek-V4.1-Flash. Não uma família, não uma arquitetura de plugins com uma dúzia de adaptadores. Um checkpoint, ajustado até os kernels pararem de reclamar.
Essa estreiteza é o ponto. A lista de recursos é um passeio por tudo que custa dinheiro em escala:
- Kernels otimizados — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, além de kernels TileLang personalizados.
- Paralelismo — paralelismo de dados na atenção com paralelismo de contexto balanceado, paralelismo de especialistas no MoE com EPLB (balanceamento de carga em nível de especialista, aquilo que impede um especialista de virar ponto quente).
- DSpark e verificação agendada por confiança — decodificação especulativa em que o comprimento do rascunho é limitado pela confiança, e não por um número fixo. O padrão é 5, via
DEEPINFER_USE_NEXTN_DECODE. - Reprodução limitada por SWA — em vez de reproduzir o prefixo inteiro, reproduz apenas um sufixo limitado. As configurações padrão do V4.1 mantêm 140 tokens e exigem que o sufixo cubra a janela deslizante mais a distância máxima de retrocesso.
- Agendamento assíncrono — o escalonamento de lotes na CPU sobreposto à execução no dispositivo, ativo por padrão.
- Inferência invariante a lote e amostragem determinística — os mesmos tokens de entrada produzem os mesmos tokens de saída, independentemente do que mais está no lote.
- Saídas estruturadas — restrições de regex, JSON schema ou gramática EBNF passadas por
SamplingParams.
Esse último bloco é o que eu sublinharia. Quase toda pilha de serving faz saída estruturada. Pouquíssimas conseguem prometer que sua saída é byte a byte idêntica, tenha você enviado uma requisição ou mil, porque a maioria dos kernels escolhe ordens de redução diferentes conforme o formato do lote, e ordens de redução diferentes produzem resultados de ponto flutuante diferentes. Se você já viu um teste de regressão falhar porque o lote cresceu, sabe por que isso importa.

O que você não recebe
Três coisas, escritas no README sem muito drama:
- Um sistema de cache KV.
- Desagregação de VE / prefill / decode — “a maior parte da funcionalidade exigida do motor já está implementada”, mas o encanamento de deployment não vem no pacote.
- Balanceamento de carga entre réplicas de paralelismo de dados, para prefill e decode separadamente.
- Qualquer coisa que não seja o DeepSeek-V4.1-Flash.
Leia essa lista duas vezes. Um serviço de inferência em produção não é um kernel rápido; é um kernel rápido mais um cache que sobrevive à evicção mais um roteador que sabe qual réplica está fria. O DeepInfer entrega o motor, não o carro. Se você é um time de pesquisa com oito GPUs e um benchmark para reproduzir, é exatamente o que precisa. Se você é uma startup esperando trocar o vLLM na próxima sprint, vai passar um trimestre reconstruindo as partes que ficaram de fora de propósito.
O hardware é a verdadeira história
Hardware suportado: GPUs NVIDIA SM100 e NPUs Huawei Ascend 950. Duas linhas, sem comentário.
É uma coisa notável de colocar num README. Um framework que trata uma peça topo de linha da NVIDIA e um acelerador chinês doméstico como alvos equivalentes está dizendo onde seu tráfego de produção roda, ou onde espera rodar. O sistema de build deixa isso explícito: export DEEPINFER_ACCELERATOR=nvidia, ou ascend. CUDA 13 num caminho, CANN 9.2 no outro.
Para a maioria dos times ocidentais, isso é curiosidade. Para quem constrói na China, ou constrói algo que precise sobreviver a uma manchete sobre controle de exportação, é a linha mais consequente do repositório.
Instalar, com honestidade
Os pré-requisitos não são gentis: Linux, GCC 13 ou mais novo, Python 3.12, CUDA 13. Depois:
export DEEPINFER_ACCELERATOR=nvidia
./build.sh
python examples/offline_inference.py
O checkpoint padrão é baixado do Hugging Face na primeira execução; defina DEEPINFER_HF_MODEL_DIR se já tiver local. Os benchmarks foram medidos em quatro GPUs SM100 para prefill e sessenta e quatro para decode, o que deve calibrar suas expectativas sobre o que “rápido” significa aqui. Você não vai reproduzir esses números numa 4090, e não existe caminho para consumidor.
A linhagem é declarada sem rodeios: originalmente construído sobre o vLLM, com ideias do SGLang e do TensorRT-LLM. É um reconhecimento elegante e também um mapa útil. Se você conhece o escalonador do vLLM e o radix cache do SGLang, consegue adivinhar quais partes o DeepInfer reescreveu e quais herdou.
Por que laboratórios abrem isso
Três razões plausíveis, e elas não se excluem.
Primeiro, credibilidade. Publicar a pilha de serving é uma forma de dizer que os números do benchmark vieram de algo real. Qualquer um cita tokens por segundo. Entregar o código que os produziu é outro nível de afirmação.
Segundo, ecossistema. Frameworks de serving são onde engenheiros de inferência vivem. Se seu modelo roda bem no framework que todo mundo já conhece, você ganha adoção de graça. Se roda bem só no seu, o framework precisa conquistar os próprios usuários.
Terceiro, contratação e padrões. Um laboratório que publica seus kernels define o vocabulário. Quando o próximo paper disser “invariante a lote”, todo mundo vai entender o que o DeepInfer entende.
O que ele não faz é entregar um produto pronto. A distância entre “abrimos nosso motor” e “você consegue servir esse modelo barato” é exatamente a distância sobre a qual o README é honesto.
O que fazer com ele neste mês
Se você trabalha com inferência, clone, rode o exemplo offline em qualquer hardware Blackwell ou Ascend que consiga alugar e meça duas coisas: tempo até o primeiro token com uma distribuição de prompts realista, e se a amostragem determinística de fato se sustenta entre tamanhos de lote. São as duas afirmações baratas de verificar e caras de falsificar.
Há também um uso mais estreito e mais prático: pontuação em lote offline. Se você precisa rodar uma suíte de avaliação fixa dez vezes e comparar as saídas, a amostragem determinística transforma isso de exercício estatístico em diff. A maioria dos harnesses de avaliação gasta metade da complexidade contornando o fato de que o mesmo prompt gera respostas diferentes em tamanhos de lote diferentes. Uma pilha de serving que garante o contrário elimina toda uma categoria de ferramentas.
Se você não trabalha com isso, o repositório ainda vale uma hora. Não como software, como especificação. É um laboratório de ponta dizendo quais problemas considerou difíceis o bastante para resolver em casa: balanceamento de carga de especialistas, reprodução limitada para atenção de janela deslizante, especulação condicionada por confiança e reprodutibilidade bit a bit. Essa lista é um mapa razoável de onde os custos de inferência realmente nascem, e continuará verdadeira muito depois de o V4.1-Flash ser aposentado.
Código aberto, neste caso, significa “aqui está o motor, aqui está o ajuste, aqui está o único modelo com que nos importamos”. O resto — cache, roteador, o meio sem glamour — segue sendo a parte que você constrói.
Artigos relacionados
Uma planilha comunitária de toques que desliga os anúncios dos Android chineses
Não mexe no sistema, não desbloqueia nada, não faz flash de nada. Só vira os botões que os fabricantes já deixaram à mostra. O preço é uma lista que alguém precisa continuar escrevendo.
GPT Image 2.6 manteve o preço por token e elevou a fatura
O GPT Image 2.6 mantém cada tarifa por token do 2.5 e mesmo assim custa mais por imagem, porque boa parte do trabalho acontece agora nos tokens de saída. Onze dias após o lançamento, a estrutura de preços diz mais que o ranking.
Alguém reconstruiu o IDM por fora e anotou o que não tocou
Uma reimplementação em Rust do Internet Download Manager promete 5 vezes a velocidade e 86 idiomas. O documento mais interessante é o parágrafo que explica como ela foi feita sem copiar nada.
Rune é um framework de UI em Rust feito para que um agente possa verificar o próprio trabalho
Rune renderiza sem interface, despeja sua árvore de elementos e aceita entrada roteirizada, o que dá a um agente de código um sinal diffável que um screenshot nunca oferece. O framework está em pré-lançamento e não aceita pull requests.