← 블로그로
Ai약 14 분 읽기

코드로 영상을 만드는 일, 27B 오픈 모델이 받아냈습니다

게시일 2026년 11월 7일
코드로 영상을 만드는 일, 27B 오픈 모델이 받아냈습니다

샤오홍슈에 11월 초에 1233명이 저장하고 댓글에서 47명이 설전을 벌인 글이 있습니다. 주장은 노골적입니다. "Opus로 3D 모션 그래픽 한 편 만드는 데 291위안이 들었습니다. 상탕(商汤) 오픈소스 Code2Video로 바꾸니 2.8위안, 비용 차이가 100배입니다."

이런 글은 보통 사흘을 못 갑니다. 반박하기 너무 쉽기 때문입니다. 댓글에서 가장 많은 공감을 받은 반박도 정확합니다. 디버깅과 재작업을 계산에 넣으면 Opus 5.5를 그대로 쓰는 편이 오히려 쌀지도 모릅니다. 낮은 단가는 시간과 반복 횟수로 산 것입니다.

하지만 이 글 뒤에는 진지하게 볼 만한 것이 있습니다. 상탕은 10월 28일 SenseNova 6.8 Code2Video의 가중치를 Hugging Face에 올렸습니다. 27B 파라미터, 512K 컨텍스트, 모델 카드에는 Apache-2.0. 하는 일은 Sora, Runway와 전혀 다른 종류입니다. 픽셀을 추측하지 않고 코드를 씁니다.

모든 프레임은 시간의 함수입니다

기존 영상 모델은 한 번의 샘플링으로 영상 전체를 내놓습니다. 자막 크기를 두 단계 키우고 싶으면 프롬프트를 다시 주고 다시 샘플링합니다. 가장 곤란한 것은 요청하지 않은 부분까지 같이 바뀔 수 있다는 점입니다. 얼굴이 맞지 않게 됩니다.

Code2Video는 입구가 다릅니다. HTML/CSS, Canvas, SVG, Three.js, Manim, p5.js 코드를 써서 각 프레임을 시간 t의 순수 함수로 정의합니다. 임의의 시점을 주면 그 밀리초에 모든 요소의 위치, 변형, 색을 유일하게 계산합니다. 렌더링은 프레임 단위로 캡처하고 시스템의 실시간 시계에 의존하지 않습니다. 같은 코드를 백 번 돌려도 출력은 똑같습니다.

빈 35mm 필름 프레임들이 조명이 비친 유리 테이블 위에서 희미하게 빛나고 있습니다. 필름에는 아무 표식도 없습니다.

이 노선에는 부산물이 있습니다. 글자와 숫자가 더 이상 뭉개지지 않습니다. 자막, 수식, 차트 안의 값은 소스 코드에서 조판된 것이지 모델이 추측한 픽셀이 아닙니다. AI 영상을 만들어 본 사람은 압니다. 화면 속 글자가 가장 먼저 무너지는 곳이고, 중국어는 특히 그렇습니다.

고치는 것도 덜 듭니다. 코드 안의 요소에는 이름이 있어서 글자 크기, 시점, 색조합을 바꿀 때 그 몇 줄만 건드리고 나머지 코드는 그대로입니다. 공식 예시는 공항 플립 보드이고 세 차례 수정했습니다. 먼저 스포트라이트 아래의 어두운 판, 다음은 밝은 파스텔 로비, 마지막으로 비행기와 짐을 끄는 여행자를 더합니다. 세 번을 거치는 동안 요청하지 않은 문구, 타이밍, 플립 동작은 모두 그대로 남았습니다.

상탕은 이번에 제작에 쓴 프롬프트와 전체 Agent 로그도 공개했습니다. 밟았던 함정까지 함께 내놓았습니다. 저장소에는 skills/code-video 디렉터리가 붙어 있고 8개의 분야 가이드가 들어 있습니다. 죽 읽어 보면 모델 카드라기보다 "당신의 Agent에게 영상 만드는 법을 가르치는" 교재에 가깝습니다.

리더보드에서는 아직 483점 부족합니다

이 노선의 가치는 리더보드 한 장 위에 올려놓고 봐야 합니다.

HeyGen은 Kaggle에서 Code2Video라는 보드를 갱신했습니다. 모델에 아주 세밀한 크리에이티브 brief를 주고 HyperFrames 프레임워크 안에서 코드를 써서 영상을 만들게 한 뒤 사람이 만든 참조 영상과 비교해 점수를 매깁니다. 상위 여덟 자리는 모두 클로즈드 모델입니다. Claude Opus 5.5가 1위이고 원점수는 33.5%입니다. GLM, Kimi, DeepSeek 같은 오픈 모델은 대체로 10% 안팎입니다.

Artificial Analysis는 이 평가를 재현했고 기준은 더 세밀합니다. Opus 5.5의 Elo는 1536, 가장 강한 오픈 범용 모델 DeepSeek V4.1 Flash는 1053으로 483점 차이입니다.

보드 설명문에 제가 동의하는 문장이 하나 있습니다. 많은 프런티어 모델이 HTML, CSS, JS를 씁니다. 하지만 코드를 믿을 만한 영상으로 바꾸려면 정적인 페이지를 예쁘게 그리는 것을 넘어 시간 축에서 화면을 이해해야 합니다. 웹페이지를 쓸 줄 아는 것과 영상을 찍는 것은 다릅니다. 정적 페이지는 요소를 제자리에 두면 이깁니다. 영상은 요소가 맞는 시점에, 맞는 속도로, 맞는 순서로 움직여야 합니다. 제목이 언제 들어오고, 숫자 블록이 어떻게 리듬을 타고, 드럼이 어느 프레임에 떨어지는지까지요.

그래서 이전의 빈 중간지대는 어색했습니다. 효과를 원하면 클로즈드를 돈 주고 쓰고 한 편에 수십 위안이며 로컬 배포도 안 됩니다. 오픈소스로 돈을 아끼려면 범용 모델이 영상용으로 학습되지 않았습니다. Code2Video가 채우는 곳이 여기이고, 방법은 "전문화"입니다.

먼저 세 가지 계산

첫째는 하드웨어입니다. 27B 파라미터, BF16 가중치로 약 54GB. 공식은 세 가지 배포 명령을 주는데 LightLLM, vLLM, SGLang 모두 텐서 병렬 4, 네 장부터입니다. 512K 컨텍스트에는 추가 KV 메모리도 필요합니다. 겁나게 들리지만 베이스인 Qwen3.8-27B 자체가 알뜰해서 Q4로 양자화하면 18GB 정도이고 24GB 4090 한 장으로 돌아갑니다. 더우인에서는 64G Mac Studio에서 한 줄짜리 프롬프트만 주고 AI가 구성 감지, 환경 설치, 모델 배포를 스스로 하게 한 뒤 CC Switch로 Claude Code에 연결한 사람이 있습니다. 손으로 친 명령은 거의 없습니다. 또 다른 사람은 4bit 양자화판을 32G 메모리의 평범한 컴퓨터에서 돌립니다.

둘째는 시간입니다. 공식은 10시간 이상, 2000여 턴을 연속으로 돌린다고 합니다. 이 문장을 뒤집어 읽으면 이 작업은 원래 그만큼 걸린다는 뜻입니다. 실측으로 한 편 완성에 수십 분에서 한두 시간, 로컬 연산력에 따라 다릅니다. 원클릭 영상이 아니라 켜두는 영상입니다.

셋째는 능력입니다. 공식이 제한 사항에 직접 적었습니다. 모션 그래픽, 과학 해설, 양식화된 2D/3D 장면, 데이터 시각화는 됩니다. 실사 촬영 화면은 안 됩니다. 더우인의 그 사람은 몇 가지를 시험했습니다. 물고기 떼의 창발(선두가 없어도 동기화해 방향을 바꿈), 푸리에 급수로 고양이 그리기(원이 많을수록 윤곽이 선명해짐), 프리즘 분산, 이중 파원 간섭, 혼돈 이중 진자, 크랭크와 연결봉, 뫼비우스 띠. 화면은 매끄럽고 요점도 분명합니다. 모두 "코드로 쓸 수 있는 화면"입니다. 실사 질감의 영화적 촬영을 원한다면 이 도구가 할 일이 아닙니다.

공식조차 "프롬프트 강화" 단계는 Claude 같은 더 강한 모델에 맡기라고 권합니다. 이런 정직함은 드뭅니다.

라이선스에는 표기가 두 개입니다

"코드를 상업적으로 써도 된다"는 말에는 물음표가 붙습니다. Hugging Face 모델 카드는 Apache-2.0이라고 적혀 있지만 GitHub 저장소 루트에는 아직 LICENSE 파일이 없고 GitHub API로 라이선스를 읽을 수 없습니다. 저장소 자체가 "shell 명령을 실행하는" 성질을 갖고 있어서 README는 격리된 작업 환경에서 돌리라고 분명히 경고합니다.

11월 4일 기준 GitHub 저장소는 약 390스타, HF 모델 페이지는 93개 좋아요입니다. 업계 말로 아직 very early입니다. 공식도 체계적인 benchmark를 만들지 않았고 정성적 샘플만 냈습니다. 화면 완성도와 장거리 안정성은 가장 강한 클로즈드 모델에 분명히 뒤집니다. 볼 수 있는 것은 샘플 영상이지 점수가 아닙니다.

실제로 쓸 거라면 베낄 만한 세부가 하나 있습니다. 검사 스크립트가 함께 들어 있는데, 방식은 키프레임을 콜드 리드하고 콘택트 시트를 만들고 해상도, 프레임 수, 검은 프레임, 멈춘 프레임을 검증하는 것입니다. 검수는 "픽셀에서 보이는 것"만 적고 "코드에 적힌 것"은 적지 않습니다. 이 원칙은 모델보다 오래갑니다. 코드가 돌아간다고 화면이 맞는 것은 아니니까요. 수식이 한 자리 틀리고, 자막이 잘리고, 피사체가 너무 작아도 컴파일러는 한마디도 하지 않습니다.

실제로 열린 것은 한계비용입니다

처음의 그 글로 돌아갑니다. 그것이 말하는 것은 "오픈소스가 클로즈드를 따라잡았다"가 아닙니다. 보드는 거기 있고 아직 483점 부족합니다. 이 격차는 단기에 메워지지 않습니다.

열린 것은 한계비용입니다. 어떤 사람은 Opus 5.5로 agent 9개를 병렬로 6시간 돌려 예고편 한 편을 만들고 1.87억 토큰을 태워 190달러 청구서를 받았습니다. 또 다른 사람은 8.5분짜리 영상에 270달러를 썼고 그중 200달러가 고치고 또 고친 재작업비였습니다. 클로즈드로 영상을 만들 때 비싼 것은 생성이 아니라 재작업입니다. 6번 고치면 6번 청구됩니다.

모델을 자기 컴퓨터에 올리고 나면 백 편을 돌리는 비용과 한 편을 돌리는 비용이 거의 같습니다. 남는 것은 전기요금뿐입니다. 이 정도 차이는 세 부류에게 실질적입니다. 계정을 키우는 단계에서 낮은 비용이 필요한 매트릭스 계정, 과학, 데이터, 순위 같은 콘텐츠를 다루며 물량이 늘면 클로즈드의 토큰 소모가 무서워집니다. 내부망 배포가 필수인 국유기업과 정부기관, 모델, 지식베이스, 애플리케이션을 모두 물리적으로 격리하고 데이터를 외부로 내보낼 수 없습니다. 교안을 반복해서 만드는 기업교육 강사와 교사, 천 마디보다 30초짜리 작은 애니메이션 한 편이 낫습니다.

전환점은 "누가 더 강한가"가 아니라 "누가 비용 없이 반복해서 만들 수 있는가"입니다. 후자는 정확히 클로즈드의 급소이고, 27B 같은 작은 모델이 가장 이득을 보는 지점입니다.

관련 글