ViMax, 프롬프트가 아니라 로그라인을 받는 12.8K 스타 영상 에이전트

ViMax에서 가장 흥미로운 점은 영상을 만든다는 게 아닙니다. 그건 하는 저장소가 널렸습니다. 이 저장소의 예제가 프롬프트를 요구하지 않고 로그라인을 요구한다는 점입니다.
idea = \
"""
If a cat and a dog are best friends, what would happen when they meet a new cat?
"""
user_requirement = \
"""
For children, do not exceed 3 scenes.
"""
style = "Cartoon"
이 블록은 main_idea2video.py 안에 들어 있습니다. 파이썬 파일을 열어 고치고, API 키 세 개를 넣고, 실행하면 됩니다. 돌아오는 것은 완성된 단편이어야 합니다. 대본, 스토리보드, 캐릭터 디자인, 샷, 그리고 조립된 영상까지요. 저장소는 HKUDS/ViMax이고, 스타는 대략 12.8K를 모았습니다. 내세우는 건 에이전트 하나가 감독, 각본, 프로듀서, 생성이라는 네 역할을 동시에 맡는다는 것입니다.
성공할지와 프레이밍이 맞는지는 별개 문제입니다. 프레이밍은 맞습니다. 시중의 거의 모든 텍스트-투-비디오 도구는 결정을 내리지 않습니다. 문장 하나를 주면 5초를 돌려줍니다. 그 문장 위에 있는 모든 것, 캐릭터가 누구인지, 두 번째 샷이 무엇이어야 하는지, 세 번째 샷이 첫 번째와 모순되는지는 전부 사용자 몫입니다. ViMax의 베팅은 이렇습니다. 빠져 있던 제품은 모델이 아니었습니다. 무엇을 모델에 물을지 결정하는 층이었습니다.
상자 안에 실제로 든 것
진입점이 세 개이고, 사람들이 계속 이 셋을 뭉뚱그리기 때문에 따로 짚을 만합니다.
아이디어에서 영상으로. main_idea2video.py는 전제, 제약 문장, 스타일 단어 하나를 받습니다. 에이전트가 대본을 쓰고, 장면으로 쪼개고, 키프레임을 만들고, 그 키프레임을 영상 모델에 넘깁니다.
대본에서 영상으로. main_script2video.py는 집필 단계를 건너뜁니다. 시나리오 형식에 가까운 장면 대본을 넣습니다. EXT. SCHOOL GYM - DAY, 괄호 안의 캐릭터 나이, 별도 줄의 대사 같은 식이고, 여기에 “20샷을 넘지 않는 빠른 호흡” 같은 요구를 덧붙입니다. 에이전트가 이를 해석하고, 배역을 붙이고, 생성을 돌립니다.
대화형 TUI와 로컬 웹 UI. 런타임은 같고 앞단이 둘입니다. TUI는 빠른 경로이고, 웹 UI는 이름 붙인 프로젝트, 대화 패널, 스토리보드 미리보기, 산출물 검사를 제공합니다.
설정 안에 네 번째가 숨어 있는데, 위의 셋보다 중요하다고 봅니다. image_selection입니다.
image_selection:
num_candidates: 2 # Set to 1 to disable selection.
기본값으로 ViMax는 키프레임 후보 두 개를 병렬로 만들고, 비전을 읽을 수 있는 채팅 모델이 더 나은 쪽을 고릅니다. 작은 기능이지만 함의는 큽니다. 이미지 생성을 그럴듯해질 때까지 다시 돌리는 슬롯머신으로 취급하지 않는다는 뜻입니다. 비용이 붙은 결정으로 취급하고, 그 결정은 두 후보를 동시에 볼 수 있는 무언가가 내립니다. README도 API 지출이 늘어난다고 먼저 밝힙니다. 그리고 이게 에이전트와 for 루프의 차이입니다.
설치, 솔직하게
명령 네 줄이고, 그중 하나가 Windows라면 포기하게 만드는 이유가 됩니다.
git clone https://github.com/HKUDS/ViMax.git
cd ViMax
uv sync
환경은 이게 전부입니다. uv가 알아서 하고, quick start에 conda 레시피도 Docker 파일도 없습니다. 다음은 이렇습니다.
cp configs/agent.example.yaml configs/agent.local.yaml
이제 블록 세 개를 채웁니다. 하나가 아니라 셋입니다. 언어 모델, 이미지 생성기, 영상 생성기. 각각 모델 이름과 base URL, 키가 필요합니다.
llm:
model_provider: openai
model: <YOUR_LLM_MODEL>
base_url: <YOUR_LLM_BASE_URL>
api_key: <YOUR_API_KEY>
image:
model: <YOUR_IMAGE_MODEL>
base_url: <YOUR_IMAGE_BASE_URL>
api_key: <YOUR_API_KEY>
video:
model: <YOUR_VIDEO_MODEL>
base_url: <YOUR_VIDEO_BASE_URL>
api_key: <YOUR_API_KEY>
설정 파일 자체가 싫다면 같은 값을 VIMAX_LLM_API_KEY, VIMAX_IMAGE_API_KEY, VIMAX_VIDEO_API_KEY로 넣어도 됩니다. 그다음 vimax tui로 세션을 열고, vimax tui resume <session_id>로 다시 이어붙입니다.
공급자를 셋 요구하는 부분을 사람들이 과소평가합니다. 번거로운 설정이 아니라 구조가 드러난 것입니다. ViMax는 꽂은 것에 그대로 붙습니다. 저장소의 예시 설정은 채팅에 OpenRouter, 이미지에 Google 클래스, 영상에 Google 클래스를 가리킵니다. ImageGeneratorNanobananaGoogleAPI와 VideoGeneratorVeoGoogleAPI입니다. 클래스 경로를 바꾸면 벤더가 바뀝니다. 라벨이 잘 붙은 멀티탭이 유연한 것과 같은 종류의 유연함입니다.
웹 UI는 별도 설치입니다.
cd web
npm install
npm run dev
127.0.0.1:4173에 바인딩됩니다. 원격 서버라면 포트를 포워딩하면 되고, VIMAX_WEB_PORT로 옮길 수 있습니다. 별것 아닌데, “로컬 웹 UI”는 말 그대로 로컬이라는 점을 기억하십시오. 호스팅 제품이 아니고, 포트와 당신의 키 사이에 인증 계층이 없습니다.

아이디어와 MP4 사이에서 에이전트가 실제로 하는 일
솔직히 말하면, 작은 제작팀이 돌리는 파이프라인과 같습니다. 말다툼만 빼고요.
전제를 읽습니다. 톤을 정합니다. 장면이 있는 대본을 씁니다. 비주얼 스타일을 고르고 끝까지 유지합니다. 각 장면을 카메라 위치와 피사체가 있는 샷으로 서술합니다. 키프레임을 만듭니다. 후보 중에서 고릅니다. 움직입니다. 조립합니다. 조립된 결과가 출발점의 전제와 여전히 맞는지 확인합니다.
흥미로운 실패 지점은 마지막 단계입니다. 영상 모델은 흘러갑니다. 캐릭터 재킷 색이 샷마다 바뀝니다. 창문이 두 개였던 방이 세 개가 됩니다. 사람 편집자가 이걸 발견하면 다시 찍거나 그 부분을 잘라 피합니다. 에이전트가 발견하면 돈이 드는 재생성을 할지, 흐트러짐을 받아들일지 결정해야 합니다. README가 보여주는 ViMax의 답은 키프레임 선택과 고정된 대본에 기대는 것입니다. 일관성 검사기를 내세우지는 않습니다.
진지하게 평가할 생각이라면 가장 먼저 시험할 지점이 여기입니다. “예쁜 30초를 만들 수 있나”가 아니라, 같은 캐릭터가 같은 거리를 걷는 샷 네 개를 요청하고 거리가 몇 번이나 바뀌는지 세는 겁니다.
맞는 자리와 맞지 않는 자리
ViMax는 Runway의 타임라인이나 제대로 된 NLE와 경쟁하지 않습니다. 경쟁 상대는 빈 페이지입니다. 현실적인 용도는 저장소의 예제가 암시하는 그대로입니다. 한 문단으로 전체를 규정할 수 있는 짧고 자기완결적인 결과물. 동화, 설명 영상, 아직 예산이 없는 기획안의 프루프 오브 콘셉트 같은 것들입니다.
직접 에이전트를 만드는 사람에게는 참고 구현으로도 쓸 만합니다. idea2video와 script2video를 나눈 지점이 옳은 이음매입니다. 하나는 창작 에이전트, 다른 하나는 실행 에이전트이고, 이런 도구를 만드는 대부분은 둘을 뒤섞어 유지보수 불가능한 덩어리로 만듭니다.
두 가지는 분명히 말해 두겠습니다. 첫째, README에 라이선스 선언이 없습니다. 스타 12.8K짜리 저장소에서 이건 세부 사항이 아니라, 명확해질 때까지 상업적 사용을 막는 걸림돌입니다. 둘째, 비용 모델이 보이지 않습니다. 예산 상한도, 실행당 추정치도, quick start의 드라이런 모드도 없습니다. 4장짜리 카툰이 얼마인지는 청구서가 날아올 때 처음 알게 됩니다.
이번 달 또 하나의 큰 에이전트형 영상 저장소인 OpenMontage는 반대 방향으로 갔습니다. 단단한 게이트, 명시된 10달러 기본 상한, 액션당 50센트 승인 임계값입니다. ViMax는 흐름을 택했습니다. 둘 다 변호할 수 있습니다. 다만 재무팀과 맞닥뜨렸을 때 살아남는 쪽은 하나입니다.
시간이 지나도 남을 부분
1년 뒤에는 ViMax가 호출하는 영상 모델이 더 좋아지고 더 싸질 것이고, 누군가는 설정 스키마를 다시 썼을 겁니다. 아마 살아남는 건 상호작용 패턴입니다. 시스템에 프롬프트가 아니라 전제를 준다. 한 번의 테이크 대신 키프레임 후보를 보여주게 한다. 대본을 샷이 만족해야 하는 계약으로 유지한다.
이 패턴은 이미 여기저기 나타납니다. 생성된 클립이 코딩 에이전트가 맞춰야 할 설계 문서가 되는 비디오-투-게임에서, 창작 게이트마다 파이프라인이 승인을 기다리는 OpenMontage에서 그렇습니다. 업계는 2년 동안 어느 모델이 이기는지 논쟁했습니다. 이 저장소들이 실제로 벌이고 있는 더 쓸모 있는 논쟁은, 두 번째 결정을 누가 내릴 수 있는가입니다.
관련 글
중국산 안드로이드 시스템 UI의 광고를 끄는, 커뮤니티가 관리하는 탭 표
시스템을 건드리지 않고, 잠금 해제도, 플래싱도 하지 않는다. 제조사가 이미 열어 둔 스위치를 하나씩 뒤집을 뿐이다. 대가는 이 목록을 계속 써 줄 사람이 필요하다는 것이다.
GPT Image 2.6, 토큰 단가는 그대로 두고 청구서를 올렸다
GPT Image 2.6은 2.5의 토큰 단가를 하나도 바꾸지 않았는데 이미지 한 장 값은 올랐다. 작업의 상당 부분이 이제 출력 토큰에서 일어나기 때문이다. 출시 11일째, 가격 구조가 순위표보다 많은 것을 말한다.
IDM을 바깥에서 다시 만든 사람이 손대지 않은 부분을 적어 두었다
Mister Download Manager는 Internet Download Manager의 흐름을 Rust로 다시 구현해 5배 속도와 86개 언어를 내건다. 더 흥미로운 문서는 아무것도 복사하지 않고 어떻게 만들었는지 설명하는 문단이다.
Rune은 에이전트가 자기 작업을 검증할 수 있도록 만든 Rust UI 프레임워크
Rune은 헤드리스로 렌더링하고 요소 트리를 덤프하며 스크립트 입력을 받는다. 스크린샷으로는 얻을 수 없는, diff 가능한 신호를 코딩 에이전트에게 준다. 프레임워크는 프리릴리스이며 풀 리퀘스트를 받지 않는다.