Pika H3 Flex, 50스텝을 6스텝으로 줄이고 가중치를 열다

디노이징 50스텝은 이 업계 밖 사람이 신경 쓸 필요가 없는 숫자입니다. 동시에 조용히, 영상 모델이 데모인지 도구인지를 가르는 숫자이기도 합니다.

Pika의 새 릴리스는 그 숫자 위에 서 있습니다. Pika H3 Flex는 MiniMax의 H3 모델을 가져다 파인튜닝하고, 교사의 50스텝을 projection distribution matching distillation으로 6스텝까지 증류한 뒤, 어댑터 가중치와 추론 코드를 공개합니다. 6스텝, 그리고 화면과 소리가 함께 나옵니다.

마지막 부분은 강조할 만합니다. 대부분의 “오디오-비디오” 모델은 클립을 만들고 나서 대충 맞는 사운드트랙을 따로 만듭니다. 결합 생성은 오디오가 프레임과 같은 루프에서 디노이징된다는 뜻입니다. 문이 닫히는 소리와 몸이 움찔하는 게 우연히 맞아떨어진 두 가지가 아니라 하나의 사건입니다.

실제로 열린 것

LoRA 어댑터 두 개. 하나는 텍스트와 첫/마지막 프레임 컨디셔닝을, 다른 하나는 멀티모달 레퍼런스 입력을 담당합니다. 함께 MiniMax H3 기본 구성 요소와 로컬 추론 도구, ComfyUI 워크플로, Hugging Face Diffusers 경로도 공개했습니다.

기본 출력은 480P 또는 768P, 5~15초, 동기화된 스테레오 오디오입니다. 소박해 보이지만 API가 더하는 걸 보면 다릅니다. 1080P, 2K, 4K 업스케일, 그리고 생성된 사운드트랙을 다섯 트랙으로 쪼개는 오디오 스템 분리입니다. 대사, 음악, 효과음, 폴리, 앰비언스입니다.

스템 분리는 제가 돈을 낼 만한 기능입니다. 생성 영상을 실제 편집에 쓰려 해 본 사람은 그 문제를 압니다. 오디오가 하나의 분리 불가능한 덩어리입니다. 내레이션 아래로 음악을 낮출 수 없고, 대사를 다른 언어로 바꿀 수 없고, 다음 컷의 룸톤과 싸우는 앰비언스를 뺄 수 없습니다. 다섯 스템은 생성 클립을 푸티지로 바꿉니다.

의도된 워크플로도 그에 따릅니다. 낮은 해상도로 생성하고, 마음에 드는 테이크를 고르고, 업스케일합니다. 초안은 싸게, 마무리는 비싸게. 영화 제작의 다른 모든 공정이 이미 그렇게 돌아가고, 모든 생성이 최종 렌더여야 하는 척하지 않고 모델 벤더가 그걸 인정하는 건 반갑습니다.

속도 숫자를 맥락에 놓으면

Pika는 호스팅 추론 최적화 결과도 공개했습니다. NVIDIA B300 GPU 8장에서 가중치와 6스텝 샘플러를 그대로 두고, 5초 768P 클립을 오디오와 함께 생성하는 시간이 컨디셔닝, 디노이징, 디코딩 전체에서 3.409초에서 2.129초로 줄었습니다. 약 1.6배입니다.

1.6배 엔지니어링 개선은 헤드라인이 아닙니다. 그런데 초안을 수백만 개 돌릴 때 단위 경제를 결정하는 게 그런 숫자이고, 명시하지 않은 기준선 대비 퍼센트 대신 전후 값을 공개한 건 상쾌합니다.

품질 주장은 검증이 덜 됩니다. Pika는 H3 Flex가 비교 대상 모델 중 다섯 가지 시각·청각 품질 지표에서 최고점을 받았고, DesignArena의 텍스트-투-비디오 보드에서 8위, 그 보드에서 가장 높은 오픈 영상 모델이라고 합니다. 벤더가 돌린 비교는 벤더가 돌린 비교입니다. DesignArena 순위가 더 유용한 신호입니다. 당신의 아키텍처에 관심 없는 낯선 사람들이 블라인드로 투표한 결과니까요.

자기 소리를 듣는 모델에게 프롬프트하기

결합 오디오-비디오는 프롬프트 전략을 바꿉니다. 해 보기 전에는 잘 보이지 않는 방식으로요. 화면만 묘사하면 모델이 거기 맞는 음향을 지어내는데, 대개 뻔한 걸 고릅니다. 룸톤, 먼 사이렌, 정체불명의 웅웅거림.

그래서 소리를 명시적으로 쓰세요. 원하는 모든 소음의 출처를 이름 붙이고, 더 중요하게는 조용해야 할 것을 이름 붙이세요. “2초 지점에 문 하나가 닫힌다, 음악 없음, 새소리 없음”은 쓸 만한 걸 만듭니다. “문가에서 벌어지는 긴장된 장면”은 긴장의 스톡 오디오 근사치를 만들고, 그건 침묵보다 나쁩니다.

대사는 짧게, 앞쪽에 두세요. 모델에게 주어진 건 5~15초이고, 9초를 쓰는 문장 하나는 당신이 원했던 반응 컷을 위한 자리를 남기지 않습니다. 대사가 화면보다 중요하다면 따로 테이크로 생성해서 끼워 넣으세요.

그리고 첫 생성은 영상 테스트가 아니라 오디오 테스트로 취급하세요. 조명은 평범하고 폴리는 완벽한 클립이, 발소리가 0.5초 늦게 도착하는 아름다운 컷보다 유용합니다.

H3가 기반 계층이 되는 이유

Pika 릴리스 이틀 전, NVIDIA와 MIT의 팀이 Open-H3-Regenerate-2K를 공개했습니다. 저해상도 초안을 2K로 다시 생성하는 오픈 구현이고, 4K 네이티브 재생성과 워밍업 후 단일 B200에서 3.9배 속도 향상을 보고했습니다.

독립적인 두 그룹이, 일주일 안에, 같은 중국산 기반 모델 위에서 반대 방향으로 짓고 있습니다. 하나는 샘플링 루프를 압축하고, 다른 하나는 해상도를 더합니다. 기반 계층이 그렇게 생겼습니다. 누구 파운데이션 모델이 이기냐를 두고 다투지 않고, 그 위 계층을 누가 갖느냐를 두고 다툽니다.

창작자에게 실질적 결과는 “어떤 모델이냐”라는 질문이 계속 덜 흥미로워진다는 것입니다. 강한 오픈 기반이 공유된다면 차별화는 어댑터, 워크플로, 그리고 API가 위에 얹는 것으로 옮겨갑니다. 이 경우에는 해상도와 스템입니다.

여전히 어려운 것

5~15초는 짧습니다. 한 컷에는 충분하고 한 장면에는 부족합니다. 이 계열의 모든 모델이 여전히 같은 세 가지에 고전합니다. 정교한 작업을 하는 손, 표면 위의 글자, 컷을 넘는 연속성. 이번 릴리스는 다르다고 주장하지 않습니다. 그 점은 고맙습니다.

768P 네이티브도 폰 화면보다 큰 무엇이든 납품한다면 실제 제약입니다. 2K와 4K 경로는 있지만 Pika API를 거칩니다. 오픈 가중치는 초안을, 유료 서비스는 마무리를 준다는 뜻입니다. 배신이 아니라 비즈니스 모델이지만, 여기서 “오픈”은 “평가하고 그 위에 만들 수 있을 만큼 열려 있다”는 뜻입니다.

6스텝 증류에는 놓치기 쉬운 비용이 있습니다. 스텝이 적다는 건 샘플러가 탐색할 여지가 적다는 것. 증류된 모델은 증류된 분포에서 뛰어나고 그 밖에서는 조금 약해지는 경향이 있습니다. 특이한 화면비, 빽빽한 프롬프트 제약, 분포에서 살짝 벗어난 레퍼런스 입력 같은 것들입니다. 작업이 관습적이라면 영원히 모를 겁니다. 작업이 이상하다면 알게 될 겁니다.

써 보는 법

ComfyUI가 돌아가고 있다면 워크플로 파일이 가장 빠른 길입니다. 불러오고, 어댑터를 가리키고, 768P로 생성하고, 오디오를 들으세요. 그림이 아니라 싱크를 먼저 판단하세요. 립 플랩과 충격음에서 결합 생성이 되거나 안 됩니다.

Diffusers라면 파이프라인은 평범하고 어댑터가 베이스에 머지되므로 추론에서 스텝을 더 내지 않습니다. 레퍼런스 이미지를 넣으면 생성 시간이 대략 늘어날 겁니다. 그 토큰이 텍스트, 타깃과 같은 시퀀스에 들어가니까요.

그다음 마음에 드는 클립 하나를 골라 API로 스템을 뽑으세요. 도구가 장난감이기를 멈추는 지점입니다. 음악을 끄고 폴리를 남기고 다른 목소리 트랙을 넣을 수 있다는 건 “AI가 만들었다”와 “내가 쓸 수 있다”의 차이입니다.

이 릴리스가 조용히 하는 주장

2년 동안 홍보는 더 큰 모델이었습니다. 여기서 Pika의 홍보는 더 작은 샘플링 루프, 오픈 어댑터, 그리고 편집이 실제로 돌아가는 방식을 존중하는 후반 작업 표면입니다.

덜 흥미로운 이야기이고, 마감과 맞부딪히면 살아남는 쪽입니다. 6스텝은 마케팅 숫자가 아닙니다. 병목이 “생성할 수 있나”에서 “반복할 여유가 있나”로 옮겨갔다는 선언이고, 누군가 마침내 그 답에 값을 매겼습니다.