Kling의 기술 보고서는 병목이 렌더러가 아니라고 말합니다

Kling 팀이 11월 3일 공개한 기술 보고서는 모델 발표문이라기보다, 일이 실제로 어디에 있는지에 대한 논증에 가깝습니다. 제목부터 노골적입니다. 'Behind Video Generation'. 주장은 더 노골적입니다. 저자들은 생성 품질이 데이터, 컨디셔닝, 정렬, 평가의 전 과정을 통과한 멀티모달 이해의 투영이라고 씁니다.
연구 언어를 걷어내면 이렇습니다. 그리는 일은 더 이상 어려운 부분이 아닙니다. 무엇을 그릴지 충분히 구체적으로 정하고, 그다음 어떤 컷이 왜 실패했는지 설명할 수 있는 것이 어려운 부분입니다.
보고서에는 저자가 50명 가까이 붙어 있고, 현재 Hugging Face 일일 논문 목록에서 화제입니다. 가중치가 첨부되지 않은 문서로서는 그 자체로 신호입니다. 공개되는 것은 없습니다. 코드도, 체크포인트도 없습니다. 공개되는 것은 스택에 대한 설명입니다.
프레임, 클립, 숏, 시퀀스
논문은 4년짜리 타임라인으로 시작합니다. 2023년은 희망 사항이었습니다. 2024년은 감탄을 부르지만 신뢰할 수 없는 데모를 만들었습니다. 2025년은 프로덕션이 실제로 쓸 수 있는 숏에 도달했습니다. 2026년은 시스템이 일관된 짧은 시퀀스를 생성하는 단계입니다. 여러 숏, 지속되는 피사체, 연기, 카메라 언어, 대사, 음악, 효과까지요.
진보의 단위도 함께 움직였습니다. 프레임, 클립, 숏, 시퀀스 순입니다. 겉치레식 재구성이 아닙니다. 시퀀스 수준의 품질은 조합적입니다. 제약이 서로 상호작용하고, 오류가 누적되고, 시스템은 지저분한 입력에서 잠재된 창작 의도를 추론해 생성기가 실행할 수 있는 조건으로 표현해야 합니다. 단일 프레임으로만 평가받아 온 모델은 그걸 배울 방법이 없습니다.

하나의 백본, 여러 전문가
밑에는 Kling-MLLM이 있습니다. 이미지와 비디오, 오디오, 동기화된 오디오-비디오, 인터리브 입력을 받는 자기회귀 멀티모달 모델입니다. 크기는 세 가지입니다. dense 27B, MoE 35B-A3B, MoE 397B-A17B이고, 언어와 비전 백본은 Qwen3.5부터 Qwen3.8까지의 체크포인트로 초기화했습니다.
오디오 타워는 규모에 따라 달라집니다. 작은 변형은 Qwen3-Omni 설계를 따라 16kHz 모노를 초당 13토큰으로 인코딩합니다. 큰 변형은 Mel과 waveform-VAE 특징을 이중 브랜치 타워에서 융합해 초당 25토큰으로 처리합니다. 학습은 네 단계 커리큘럼으로 진행됩니다. 음향 초기화, 공동 멀티모달 학습, 시간 용량 확장, 장문 컨텍스트 통합입니다.
그다음 베이스를 전문가로 후속 학습합니다. 캡셔너, 프롬프트 인핸서, 텍스트 인코더, 리워드 모델, 평가자입니다. 하나의 백본을 공유하는 이유는 시각과 시간, 음향 지식을 한 번 학습해 재사용하고, 각 다운스트림 작업이 정확도와 지연 사이의 절충을 스스로 고르게 하기 위해서입니다.
비디오를 만질 일이 없어도 훔쳐볼 만한 디테일이 하나 있습니다. 커리큘럼 첫 단계와 마지막 단계의 가중치를 평균 내는 것이 어느 한쪽 체크포인트보다 나았습니다. 결과가 유난히 깔끔한 값싼 트릭입니다.
캡션은 계약서입니다
보고서의 중반부는 캡션에 관한 내용이고, 프롬프트를 직업으로 쓰는 분께 건네고 싶은 부분입니다.
디퓨전 트랜스포머는 언어 모델보다 훨씬 적은 학습 샘플을 봅니다. 그래서 모든 샘플이 가능한 한 많은 정보를 담아야 합니다. 그 정보는 다른 모델이 쓴 캡션의 형태로 들어옵니다. 그래서 저자들은 캡션을 의미론적 계약으로 다루고, 반드시 담아야 할 여섯 개 정보 계열을 규정합니다. 주체와 행동, 공간과 구도, 촬영과 조명, 시간과 숏, 보이는 텍스트와 들리는 텍스트, 미학입니다.
각 계열에는 이름 붙은 실패 모드가 따릅니다. 촬영 필드를 빼먹으면 논문이 '일반적 카메라 행동'이라 부르는 것이 나옵니다. 매력적이지만 재현 불가능한 스타일입니다. 주체-행동 디테일을 빼먹으면 생성기는 정지된 포즈와 역할 뒤바뀜, 미완의 행동을 만듭니다. 이 목록이 문서에서 가장 유용한 부분입니다. '내 프롬프트가 안 먹힌다'를 진단으로 바꿔주니까요.
저자들은 이 계약을 참조 기반 캡셔닝으로 확장하며 세 가지 속성을 붙입니다. 범위 지정 바인딩, 잔여 충분성, 권위 일관성입니다. 그리고 거의 뻔뻔한 데이터 확장 수법도 설명합니다. 시각적 또는 음향적 유사성이 충분한 두 비디오라면 무엇이든 참조와 타깃으로 쓸 수 있고, 캡션이 둘이 공유하는 것과 달라지는 것을 기술하면 된다는 것입니다. 실제 편집에서 나온 쌍일 필요가 없습니다.
사람들이 실제로 쓰는 프롬프트
실제 사용자는 캡션을 쓰지 않습니다. 세 줄 쓰고 엔터를 칩니다. 그래서 스택에는 두 층의 프롬프트 향상이 들어갑니다. 의도를 캡션 분포로 옮기는 기본 버전과, 고정된 텍스트 인코더와 DiT를 루프 안에 두고 비디오 수준 보상으로 강화학습을 돌리는 최종 단계입니다. 보상은 시각 품질과 모션 품질, 텍스트 정렬을 봅니다. 그 앞에는 스토리를 다듬고 예시를 검색하는 에이전트 층도 있습니다. 프로덕션 프롬프트 상당수가 그 자체로 AI가 쓴 것이라 길고 유창하지만 내부적으로 모순이 있기 때문입니다.
텍스트 인코더 부분은 예상하지 못했습니다. 주장은 좋은 컨디셔닝 인코더가 더 강한 언어 능력이 아니라 지각 학습에서 나온다는 것입니다. 일반 QA 벤치마크는 자기회귀 디코딩을 측정할 뿐, DiT가 실제로 소비하는 은닉 상태를 측정하지 않습니다. 그리고 후보 인코더는 엔드투엔드 학습 비용을 치르기 전에 텍스트만으로 선별할 수 있습니다. 백본을 적응시키고 믹싱 가중치를 안정화한 결과, Qwen 베이스라인 대비 인간 선호 비율이 1.10에서 1.27로 올랐습니다.
보상은 둘로 나뉩니다. 27B 기반의 일반 리워드 모델은 결함 태그와 시간 구간, 프레임별 박스, 근거를 포함한 설명 가능한 비평을 씁니다. 결정 리워드 모델은 한 번의 프리필로 여러 차원을 채점합니다. 둘을 합쳐 다섯 가지 일을 합니다. DiT RL, 프롬프트 향상 RL, 기계 평가, 체크포인트 선택, 데이터 필터링입니다.
숫자와 단서
가장 큰 모델의 보고 점수는 LongVideoBench 72.48, MVBench 77.88, MMBench-CN 89.52, LibriSpeech clean 단어 오류율 1.18입니다. Kling-Captioner는 35B-A3B로 VidCapBench에서 정확도 21.84, 커버리지 94.81을 기록했고, Doubao2.1-Lite 사고 모드는 20.23과 94.15였습니다. 결정 리워드 모델은 팀 내부 페어와이즈 테스트에서 매크로 정확도 77.86으로 Gemini-4-Argon의 73.54를 앞섰습니다.
단서는 두 가지입니다. 팀 자체 수치이고, 적어도 한 편의 정독은 논문이 리워드 모델의 공개 벤치마크 성과를 과장했다고 지적했습니다. Doubao와의 비교도 엇갈립니다. 다른 여러 벤치마크에서는 경쟁 모델이 앞선다고 저자들이 인정합니다. 이런 인정은 전승보다 신뢰할 만하지만, 헤드라인 숫자를 독립적으로 만들어 주지는 않습니다.
더 깊은 요점은 그와 무관하게 유효합니다. 품질이 조합적이라면 단일 집계 점수로는 아무것도 진단할 수 없습니다. 같은 나쁜 클립이 감독을 빠뜨린 캡션, 시간 구조를 버린 컨디셔닝, 매끄럽지만 정적인 모션을 선호하는 리워드 모델, 프롬프트가 요구한 사건을 아예 테스트하지 않은 평가자에서 나올 수 있습니다. 논문의 권고는 분해된, 작업별 평가입니다. 비디오 기능을 출시해 본 사람은 '모델이 나쁘다'가 '테스트가 눈이 멀었다'로 판명되는 일이 얼마나 잦은지 압니다.
Kling 바깥에서 중요한 이유
지난 1년간 눈에 보이는 경쟁은 해상도와 길이, 초당 가격이었습니다. 모두 실재하고, 동시에 표로 비교하기 가장 쉬운 것들입니다. 이 보고서는 그 표가 잘못된 층을 재고 있다고 주장하며, 경쟁자가 추론을 검증할 수 있을 만큼 내부 디테일을 제공합니다.
저자들이 옳다면 다음 라운드의 승리는 더 나은 렌더러에서 나오지 않습니다. '고객이 의미한 것'에서 '생성기가 실행하는 것'까지 가장 깨끗한 파이프라인을 만드는 쪽, 그리고 그 사슬의 어느 고리가 끊어졌는지 빠르고 구체적으로 말할 수 있는 쪽에서 나옵니다.
관련 글
중국산 안드로이드 시스템 UI의 광고를 끄는, 커뮤니티가 관리하는 탭 표
시스템을 건드리지 않고, 잠금 해제도, 플래싱도 하지 않는다. 제조사가 이미 열어 둔 스위치를 하나씩 뒤집을 뿐이다. 대가는 이 목록을 계속 써 줄 사람이 필요하다는 것이다.
GPT Image 2.6, 토큰 단가는 그대로 두고 청구서를 올렸다
GPT Image 2.6은 2.5의 토큰 단가를 하나도 바꾸지 않았는데 이미지 한 장 값은 올랐다. 작업의 상당 부분이 이제 출력 토큰에서 일어나기 때문이다. 출시 11일째, 가격 구조가 순위표보다 많은 것을 말한다.
IDM을 바깥에서 다시 만든 사람이 손대지 않은 부분을 적어 두었다
Mister Download Manager는 Internet Download Manager의 흐름을 Rust로 다시 구현해 5배 속도와 86개 언어를 내건다. 더 흥미로운 문서는 아무것도 복사하지 않고 어떻게 만들었는지 설명하는 문단이다.
Rune은 에이전트가 자기 작업을 검증할 수 있도록 만든 Rust UI 프레임워크
Rune은 헤드리스로 렌더링하고 요소 트리를 덤프하며 스크립트 입력을 받는다. 스크린샷으로는 얻을 수 없는, diff 가능한 신호를 코딩 에이전트에게 준다. 프레임워크는 프리릴리스이며 풀 리퀘스트를 받지 않는다.