DeepSeek가 DeepInfer를 공개했다: 엔진은 주고, 차는 주지 않는다

DeepSeek가 이번 주 DeepInfer를 공개했다. 자사 대규모 프로덕션 트래픽을 실제로 돌리는 추론 프레임워크이고, Apache 2.0으로 풀렸다. 출시 행사 하나 없이 한 달 만에 별 2만 5천 개를 넘겼다는 건, 프런티어 랩이 모델을 어떻게 서빙하는지 사람들이 얼마나 목말라했는지를 보여준다.
일요일 오후에 vLLM과 벤치마크를 붙여보기 전에, README에서 이번 릴리스에 없는 것을 나열한 절을 먼저 읽어보라. 저장소에서 가장 정직한 문단이다.
무엇이 들어있나
DeepInfer는 정확히 하나의 모델을 위한 오프라인 추론 엔진이다. DeepSeek-V4.1-Flash. 모델 패밀리도 아니고, 모델 어댑터 열몇 개를 끼우는 플러그인 구조도 아니다. 체크포인트 하나를, 커널이 더 이상 불평하지 않을 때까지 다듬은 물건이다.
그 좁음이 핵심이다. 기능 목록은 규모가 커졌을 때 돈이 새는 지점들을 훑는 투어가 된다.
- 최적화 커널 — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, 그리고 커스텀 TileLang 커널.
- 병렬화 — 균형 잡힌 컨텍스트 병렬화가 붙은 어텐션 데이터 병렬화, EPLB(전문가 수준 로드 밸런싱, 특정 전문가가 핫스팟이 되는 걸 막는 장치)가 붙은 MoE 전문가 병렬화.
- DSpark와 신뢰도 기반 스케줄 검증 — 드래프트 길이를 고정값이 아니라 신뢰도로 제어하는 투기적 디코딩. 드래프트 길이 기본값은
DEEPINFER_USE_NEXTN_DECODE를 통해 5다. - SWA 경계 재생 — 전체 프리픽스를 재생하는 대신 경계가 있는 서픽스만 재생한다. V4.1 기본 설정은 140개 토큰을 유지하고, 서픽스가 슬라이딩 윈도에 최대 백트래킹 거리를 더한 범위를 덮어야 한다.
- 비동기 스케줄링 — CPU에서의 배치 스케줄링이 디바이스 실행과 겹쳐 돌아간다. 기본 활성화.
- 배치 불변 추론과 결정론적 샘플링 — 배치에 무엇이 같이 들어있든 같은 입력 토큰은 같은 출력 토큰을 낳는다.
- 구조화 출력 — 정규식, JSON 스키마, EBNF 문법 제약을
SamplingParams로 넘길 수 있다.
마지막 묶음에 밑줄을 긋고 싶다. 구조화 출력은 서빙 스택 대부분이 한다. 하지만 요청을 하나 보냈든 천 개 보냈든 출력이 바이트 단위로 동일하다고 약속할 수 있는 곳은 거의 없다. 대부분의 커널이 배치 모양에 따라 리덕션 순서를 다르게 잡고, 리덕션 순서가 다르면 부동소수점 결과도 달라지기 때문이다. 배치가 커졌다는 이유로 리그레션 테스트가 깨진 적이 있다면, 이게 왜 중요한지 알 것이다.

무엇이 없나
세 가지다. README에 큰 감정 없이 적혀 있다.
- KV 캐시 시스템.
- VE / 프리필 / 디코드 분리 — "필요한 엔진 기능 대부분은 이미 구현되어 있다"지만 배포 배관은 실려 있지 않다.
- 데이터 병렬 레플리카 사이의 로드 밸런싱. 프리필과 디코드 각각에 대해.
- DeepSeek-V4.1-Flash 이외의 모든 것.
이 목록을 두 번 읽어보라. 프로덕션 추론 서비스는 빠른 커널이 아니다. 빠른 커널에, 축출을 견디는 캐시를 더하고, 어느 레플리카가 식어 있는지 아는 라우터를 더한 것이다. DeepInfer는 엔진만 주고 차는 주지 않는다. GPU 여덟 장과 재현할 벤치마크가 있는 연구팀이라면 이건 정확히 맞는 선택이다. 다음 스프린트에 vLLM 배포를 이걸로 갈아치우겠다는 스타트업이라면, 일부러 빼놓은 부품을 다시 만드는 데 분기를 써야 한다.
하드웨어가 진짜 이야기다
지원 하드웨어는 NVIDIA SM100 GPU와 화웨이 Ascend 950 NPU다. 두 줄, 논평 없음.
README에 이런 걸 적는다는 건 상당한 일이다. 최상위 NVIDIA 부품과 중국산 가속기를 동등한 타깃으로 취급하는 프레임워크는, 자기 프로덕션 트래픽이 실제로 어디서 도는지, 혹은 앞으로 어디서 돌 것으로 보는지를 말해주고 있다. 빌드 시스템은 더 노골적이다. export DEEPINFER_ACCELERATOR=nvidia, 또는 ascend. 한쪽은 CUDA 13, 다른 쪽은 CANN 9.2다.
대부분의 서구 팀에게 이건 잡학이다. 중국에서 무언가를 만들거나, 수출 통제 헤드라인을 견뎌야 하는 제품을 만드는 사람에게는 저장소에서 가장 중대한 한 줄이다.
설치는, 솔직하게
전제 조건이 순하지 않다. Linux, GCC 13 이상, Python 3.12, CUDA 13. 그다음은 이렇다.
export DEEPINFER_ACCELERATOR=nvidia
./build.sh
python examples/offline_inference.py
기본 체크포인트는 첫 실행 때 Hugging Face에서 받아온다. 로컬에 있으면 DEEPINFER_HF_MODEL_DIR을 지정하면 된다. 벤치마크는 프리필에 SM100 GPU 네 장, 디코드에 예순네 장으로 측정했다. 여기서 말하는 '빠름'이 무엇인지 기대치를 조정하는 데 도움이 될 것이다. 4090에서는 그 숫자를 재현할 수 없고, 소비자용 경로는 아예 없다.
계보도 분명히 밝혀둔다. 원래 vLLM 위에서 만들어졌고, SGLang과 TensorRT-LLM의 아이디어를 가져왔다. 겸손한 인정이면서 동시에 쓸 만한 지도다. vLLM의 스케줄러와 SGLang의 라딕스 캐시를 안다면, DeepInfer가 어디를 다시 썼고 어디를 물려받았는지 짐작할 수 있다.
랩이 이걸 오픈소스로 내는 이유
그럴듯한 이유 세 가지. 서로 배타적이지도 않다.
첫째, 신뢰도. 서빙 스택을 공개하는 건 벤치마크 숫자가 실제로 존재하는 무언가에서 나왔다고 말하는 방식이다. 초당 토큰 수는 누구나 인용할 수 있다. 그 숫자를 만든 코드를 같이 내는 건 차원이 다른 주장이다.
둘째, 생태계. 추론 엔지니어는 서빙 프레임워크에 산다. 자기 모델이 모두가 이미 아는 프레임워크에서 잘 돌면 채택은 공짜로 따라온다. 자기 프레임워크에서만 잘 돌면, 그 프레임워크가 사용자를 직접 모아야 한다.
셋째, 채용과 표준. 커널을 공개한 랩은 용어를 정한다. 다음 논문이 '배치 불변'이라고 쓰면, 모두가 DeepInfer가 정의한 의미로 이해한다.
다만 제품을 쥐여주지는 않는다. "엔진을 오픈소스로 냈다"와 "이 모델을 싸게 서빙할 수 있다" 사이의 간격은, README가 정직하게 인정하는 바로 그 간격이다.
이번 달에 해볼 만한 것
추론을 업으로 삼고 있다면, 클론해서 빌릴 수 있는 Blackwell이나 Ascend 하드웨어에서 오프라인 예제를 돌려보고 두 가지를 재라. 현실적인 프롬프트 분포에서의 첫 토큰까지 걸리는 시간, 그리고 결정론적 샘플링이 배치 크기 전반에서 실제로 유지되는지. 검증은 싸고 속이기는 비싼 두 가지 주장이다.
더 좁고 실용적인 용도도 있다. 오프라인 배치 스코어링이다. 고정된 평가 세트를 열 번 돌려 출력을 비교해야 한다면, 결정론적 샘플링은 그 일을 통계 작업에서 diff로 바꿔준다. 대부분의 평가 하네스는 같은 프롬프트가 배치 크기에 따라 다른 답을 낸다는 사실을 우회하느라 복잡도의 절반을 쓴다. 그 반대를 보장하는 서빙 스택은 도구 범주 하나를 통째로 없애준다.
업이 아니라면, 이 저장소는 한 시간을 들일 가치가 있다. 소프트웨어로서가 아니라 사양서로서. 프런티어 랩이 어떤 문제를 직접 풀 만큼 어렵다고 판단했는지 알려주는 문서다. 전문가 로드 밸런스, 슬라이딩 윈도 어텐션을 위한 경계 재생, 신뢰도로 제어되는 투기적 디코딩, 비트 단위 재현성. 이 목록은 추론 비용이 실제로 어디서 나오는지에 대한 괜찮은 지도이고, V4.1-Flash가 은퇴한 한참 뒤에도 유효할 것이다.
여기서 오픈소스란 "엔진은 여기, 튜닝은 여기, 우리가 신경 쓰는 모델 하나는 여기"라는 뜻이다. 나머지, 즉 캐시와 라우터, 화려하지 않은 중간층은 여전히 직접 만들어야 하는 부분으로 남는다.