H3 파이프라인의 마지막 고리, 이제 오픈소스가 되다

10월의 마지막 주, Hugging Face에 Open-H3-Regenerate-2K라는 모델 가중치가 하나 올라왔다. 이름은 어렵지만 출처는 확실하다. NVIDIA와 MIT가 함께 꾸린 Efficient-Large-Model 팀이고, 추론 코드는 NVlabs/Sana 저장소에 있다.

하는 일은 한 문장으로 끝난다. 저해상도 영상 초안을 받아 고화질 버전으로 다시 생성한다. 2560×1440을 지원하고, 위로는 3840×2160까지 간다. 전제가 하나 있다. 초안이 MiniMax의 H3로 만들어져 있어야 한다.

이 소식이 중국에서 퍼진 방식은 해외와 사뭇 달랐다. 해외에서는 또 하나의 오픈 웨이트가 등장했다는 점을 두고 이야기했지만, 중국 B站(비리비리)에서 논쟁이 된 것은 다른 문제였다. 일관성을 어떻게 지킬 것인가. 10월 말 Z-Image와 Wan2.2를 조합한 ComfyUI 튜토리얼이 그날 최고 점수를 받았고, 댓글창은 ‘인물 얼굴이 바뀌지 않을까’, ‘앞뒤 숏이 이어지기는 할까’라는 질문으로 채워졌다. 사람들이 실제로 불안해하는 것은 화질의 높낮이가 아니라, 한 편의 영상 안에서 등장인물이 끝까지 같은 사람이냐는 문제다.

H3 파이프라인은 원래 마지막 고리에서 끊겨 있었다

MiniMax H3는 올해 8월에 가중치를 공개했다. 공식은 전체 시스템을 세 단계로 나눈다. 멀티모달 컨텍스트 처리, 기반이 되는 오디오·비디오 생성, 고해상도 재생성. 공개된 것은 첫 단계와, 두 번째 단계 가운데 H3-Base, 즉 768P 오디오·비디오를 담당하는 부분뿐이다. 세 번째 단계, 768P를 2K로 끌어올리는 H3-Regenerate-2K는 줄곧 API로만 제공됐다.

이 역할 분담 자체는 합리적이다. 생성 모델은 ‘무엇이 있는가’를, 정밀화 모델은 ‘얼마나 선명한가’를 맡는다. 문제는 마지막 고리가 API로만 존재하는 순간 로컬 창작자의 워크플로가 거기서 막힌다는 점이다. 로컬 GPU로 768P까지는 돌릴 수 있다. 하지만 큰 화면에 올릴 완성본이 필요하면 소재를 업로드하고, 건당 요금을 내고, 상대 서버의 대기열까지 감수해야 한다.

NVIDIA와 MIT가 이번에 한 일은 바로 이 고리를 메우는 것이다. H3 백본은 건드리지 않았고 영상 VAE도 건드리지 않았다. 파라미터는 전부 동결한 채 새로 추가한 정밀화 LoRA 한 겹만 학습시켰다. 원래 모델에 안경 한 켤레를 씌운 셈이다. 추론할 때는 이 LoRA를 커뮤니티에 이미 있는 어댑터, 예컨대 LightX2V의 FL2VA Turbo나 LMS Sharp와 병합해 쓰고, 목표 해상도에서 세 단계 디노이징만 돌려 디테일을 다시 자라게 한다. 초안의 장면과 구도, 움직임 궤적은 그대로 남고, 교체되는 것은 선명도뿐이다.

3.9배는 어떻게 계산된 것인가

오픈소스 커뮤니티가 초고해상도 복원을 할 때 가장 두려운 것은 효과가 나쁜 게 아니라 쓸 수 없을 만큼 느린 것이다. 팀이 공개한 조건은 B200 한 장. 워밍업 후 5초짜리 영상을 돌리며 잠재 공간 업스케일, 3단계 정밀화, 2K 디코딩 세 구간을 합산한다. 최적화 전 구현은 87.26초, 최적화 후는 22.45초. 대략 3.9배다.

속도 향상은 주로 두 곳에서 나온다. 하나는 잠재 공간 업스케일러로, 커뮤니티가 만든 것이다. 영상의 잠재 표현을 곧바로 확대해 고해상도에서 디코딩과 재인코딩을 반복하는 비용을 없앤다. 다른 하나는 디코더로, 빠른 VAE 디코딩으로 바꾸면서 이 단계만 약 15초에서 1.6초로 줄었다. 여기에 SoL-Engine의 희소 어텐션과 저정밀 연산도 겹쳐 올렸다.

이 숫자의 의미는 구체적인 장면에 놓아야 보인다. 30초짜리 단편을 5초 6개 구간으로 만든다 치면, 한 구간 22초니까 두 분 남짓의 재생성 시간이 든다. 대기열과 실패 후 재실행은 아직 빼고 말이다. 예전 같으면 이 과정에 십수 분이 걸렸고, 그동안 창을 전환하기도 조심스러웠다. 지금은 적어도 돌려놓고 다른 일을 할 수 있다.

물론 B200은 일반인이 쓰는 카드가 아니다. 소비자용 GPU에서 같은 과정을 돌리면 시간은 몇 배로 늘어난다. 공식은 4090이나 5090 데이터를 내놓지 않았다. 이 부분은 직접 해볼 수밖에 없다.

점수는 공식 API보다 높다. 다만 높은 지점은 아주 구체적이다

팀은 RefinerBench-150에서 비교를 진행했다. 입력은 같고 출력은 모두 2K다. 지각 품질 평가 UniPercept에서 이 오픈소스 버전은 평균 60.0, 공식 H3-Regenerate-2K API는 53.4였다. 6.6점 차이다.

VBench 쪽 결론은 더 흥미롭다. 미학적 품질, 화질, 주체 일관성 세 항목에서는 오픈소스 버전이 높고, 움직임 매끄러움과 역동성에서는 공식 API가 근소하게 앞선다. 풀어 말하면, 오픈소스 버전은 프레임 하나하나를 더 ‘예쁘게’, 더 ‘안정적으로’ 다듬지만 그 대가로 동작이 다소 보수적으로 보정될 수 있다. 토킹헤드나 제품 시연, 다큐멘터리 소재처럼 정적인 구도가 중심인 숏에서는 이득이고, 격투와 댄스, 빠른 카메라 무빙에서는 손해일 수 있다.

한 가지 더 짚을 점이 있다. 주체 일관성 점수가 더 높다는 것. 중국어권 커뮤니티가 가장 신경 쓰는 지점과 정확히 맞아떨어진다. 재생성에서 가장 잘 망가지는 곳이 얼굴과 옷 텍스처인데, 프레임마다 고치다 보면 마지막에는 주인공이 다른 사람이 되어 있다. 이번 데이터는 적어도 2K 구간에서는 정밀화 과정이 정체성 유지에 플러스로 작용한다는 것을 보여준다.

위치 짓기: 새 모델이 아니라 파이프라인의 패치

이 물건의 가치를 이해하려면 모델로 보지 않는 편이 낫다. 이것은 미들웨어다.

지난 한 해 영상 생성의 진전은 주로 ‘생성할 수 있느냐’와 ‘얼마나 길게 생성하느냐’에서 일어났다. 지금 그 두 가지의 한계 효용은 떨어지고 있고, 병목은 뒤로 옮겨갔다. 초안이 나온 다음에 어떻게 할 것인가. 업계의 통상적인 방식은 먼저 싸고 빠른 방법으로 저해상도 초안을 뽑아 콘티와 리듬, 인물이 맞는지 확인한 뒤 확정된 숏을 고해상도화로 넘기는 것이다. 이 ‘고해상도화로 넘기는’ 단계는 그동안 유료 API이거나 수작업 초해상도였다. 이제 직접 배포할 수 있는 오픈소스 구현이 생겼다.

독립 창작자에게 이는 비용 구조가 바뀐다는 뜻이다. 카드를 한 번 사고, 이후에는 전기요금으로 계산한다. 작은 팀에게는 고해상도화를 야간 배치로 돌려놓고 다음 날 아침에 결과를 받는 일이 가능해진다는 뜻이다. 플랫폼 입장에서는 재생성마다 통행료를 낼 필요가 없어진다는 뜻이다.

다만 공짜 점심은 아니다. 돌리려면 H3-Base 가중치가 있어야 하고, 768P 초안이라는 품질 상한을 받아들여야 하고, 2K 디코딩을 버틸 VRAM도 있어야 한다. 초안 자체의 구도가 틀렸거나 인물이 틀렸다면, 재생성은 그 오류를 더 선명하게 고칠 뿐이다.

생태계는 이미 모델보다 앞서 달리고 있다

H3가 8월 오픈소스로 풀린 뒤 한 달 만에 다운로드가 2400만 회를 넘었고, 공개된 파생 모델은 300여 개. 올해 다운로드 최상위권 모델 중 하나다. 주변 툴체인은 빠르게 자랐다. LightX2V는 4스텝과 8스텝 Turbo 증류판을 냈고, 커뮤니티 파인튜닝판 Singularity는 동작과 얼굴, 스타일에 특화됐다. FastVideo는 4스텝 FastH3 프리뷰를, Pika는 6스텝 샘플링의 H3 Flex를 내놓았고, ComfyUI와 Unsloth는 각각 대응과 양자화를 붙였다.

NVIDIA와 MIT 팀도 멈추지 않았다. 이번 영상 향상 외에도 H3 Ref2VA 기반의 스트리밍 렌더링 모델 StreamRender-H3, 그리고 H3 영상 VAE에서 증류한 고속 디코더 Sol-H3-VAE를 함께 공개했다.

‘기반 모델은 열고, 상위 모듈은 외부 팀이 하나씩 채운다’는 이 리듬은 사실 오픈소스 영상 생태계가 처음으로 완성한 것이다. 부작용도 있다. 공식 API의 상대적 우위가 줄어든다. 로컬에서 3스텝 디노이징으로 더 높은 지각 점수를 얻을 수 있다면, 돈을 낼 이유는 ‘품질이 더 좋아서’에서 ‘손이 덜 가서’로 바뀐다.

써볼 만한가

이미 H3로 영상을 뽑고 있다면 이 저장소는 한 번 클론해서 돌려볼 가치가 있다. 볼 것은 두 가지다. 내 소재가 2K에서 얼마나 주체 일관성을 유지하는지, 그리고 내 카드가 받아들일 만한 시간 안에 디코딩을 끝낼 수 있는지. 가끔 짧은 영상 몇 편만 만든다면 공식 API가 여전히 편하다. 22초의 재생성 시간은 클라우드에서 누군가 대신 기다려주는 셈이다.

진짜 주목할 것은 방향이다. 영상 생성은 ‘한 번에 완성’에서 ‘초안 + 정밀 보정’의 2단계 공정으로 옮겨가고 있고, 그 정밀 보정 단계에 이제 오픈소스 선택지가 생겼다. 앞으로 반년, 한 창작자의 생산 효율을 가르는 것은 어떤 모델로 생성하느냐가 아니라 후처리 파이프라인을 얼마나 매끄럽게 짜느냐일지도 모른다.