← 返回博客
Ai预计阅读 8 分钟

四条命令装一个 AI 导演:ViMax 只要一句梗概就剪成片

发布于 2026年11月10日
四条命令装一个 AI 导演:ViMax 只要一句梗概就剪成片

ViMax 最值得看的地方不是它能生成视频。这类仓库多得是。有意思的是,作者自己的示例不要提示词,要一句 logline。

idea = \
"""
If a cat and a dog are best friends, what would happen when they meet a new cat?
"""
user_requirement = \
"""
For children, do not exceed 3 scenes.
"""
style = "Cartoon"

这段代码在 main_idea2video.py 里。你改 Python 文件、填三个 API key、运行。它应该吐出一支完整的短片:剧本、分镜、角色设定、镜头、拼好的成片。仓库是 HKUDS/ViMax,大约 12.8K stars,卖点是同一个 agent 同时干四份活——导演、编剧、制片、生成。

它成不成,和这套框架对不对,是两个问题。框架是对的。市面上几乎所有文生视频工具都不肯做决定。你给一句话,它给你五秒。那句话以上的所有事——角色是谁、第二个镜头该是什么、第三个镜头跟第一个冲不冲突——都是你的问题。ViMax 赌的是:缺的从来不是模型,是那层决定「该向模型要什么」的东西。

盒子里到底装了什么

三个入口,值得分开讲,因为大家老把它们混在一起。

从想法到视频。 main_idea2video.py 收一个前提、一句约束、一个风格词。agent 写剧本、切成场、生成关键帧,再把关键帧交给视频模型。

从剧本到视频。 main_script2video.py 跳过写作。你给一份剧本腔的场景稿——EXT. SCHOOL GYM - DAY、括号里的角色年龄、单独成行的对白——再加一句要求,比如「节奏快,不超过 20 个镜头」。agent 解析、选角、生成。

交互式 TUI 和本地 web UI。 同一个运行时,两个前端。TUI 是快路;web UI 给你项目命名、对话面板、分镜预览、产物查看。

配置里还藏着第四样东西,我觉得比上面三个都重要:image_selection。

image_selection:
  num_candidates: 2  # Set to 1 to disable selection.

默认情况下 ViMax 并发生成两张候选关键帧,让一个能看图的 chat 模型挑更好的那张。功能很小,含义很大。它意味着系统没把出图当成老虎机——抽到看着顺眼为止;而是当成一次有成本的决定,由能同时看两个选项的东西来做。README 直说这会推高 API 花费。这也是 agent 和 for 循环的区别。

安装这事,实话实说

四条命令,其中一条会是你放弃的原因——如果你在 Windows 上。

git clone https://github.com/HKUDS/ViMax.git
cd ViMax
uv sync

环境就这些。uv 全包;快速开始里没有 conda 配方,也没有 Docker 文件。然后:

cp configs/agent.example.yaml configs/agent.local.yaml

接着填三块。不是一块——三块。语言模型、图像生成、视频生成,每块都要模型名、base URL、key。

llm:
  model_provider: openai
  model: <YOUR_LLM_MODEL>
  base_url: <YOUR_LLM_BASE_URL>
  api_key: <YOUR_API_KEY>

image:
  model: <YOUR_IMAGE_MODEL>
  base_url: <YOUR_IMAGE_BASE_URL>
  api_key: <YOUR_API_KEY>

video:
  model: <YOUR_VIDEO_MODEL>
  base_url: <YOUR_VIDEO_BASE_URL>
  api_key: <YOUR_API_KEY>

不想用配置文件也行,同样的值可以走 VIMAX_LLM_API_KEY、VIMAX_IMAGE_API_KEY、VIMAX_VIDEO_API_KEY。然后 vimax tui 起一个会话,vimax tui resume <session_id> 接着上次跑。

三家供应商这块,多数人低估了。它不是配置麻烦,是架构露在外面:ViMax 粘死在你插进去的东西上。仓库里的示例配置指向 OpenRouter 做对话、一个 Google 图像类、一个 Google 视频类——ImageGeneratorNanobananaGoogleAPI 和 VideoGeneratorVeoGoogleAPI。换类路径就换厂商。灵活,跟一条标签写得清楚的插排一样灵活。

web UI 要单独装:

cd web
npm install
npm run dev

它绑在 127.0.0.1:4173。远程机器上就转发端口;VIMAX_WEB_PORT 能改。没什么稀奇的,但要注意「本地 web UI」就是字面意思——这不是托管产品,端口和你的 key 之间没有鉴权层。

A dark editing suite with a storyboard, a script page and a video timeline on three monitors

从你的想法到你的 MP4,agent 中间在干什么

老实说:一支小制作团队跑的那条流水线,只是少了吵架。

读前提。定调子。写带场次的剧本。挑一个视觉风格并守住它。把每个场景描述成一个带机位和主体的镜头。生成关键帧。在候选里挑。做动画。拼接。检查拼完的东西还是不是当初那个前提。

有意思的失败点在最后一步。视频模型会漂。角色的夹克在镜头之间换了颜色。本来两扇窗的房间变成三扇。人类剪辑师发现这事,会重拍,或者绕过去剪。agent 发现了,就得决定是重生成——要花钱——还是接受漂移。就 README 所示,ViMax 的答案靠的是关键帧筛选和剧本保持不变。它没宣传什么一致性检查器。

认真评估的话,这是第一个该测的。不是问「它能不能做出漂亮的 30 秒」。让它拍同一个角色走过同一条街的四个镜头,数一数街变了几次。

它适合什么,不适合什么

ViMax 不是跟 Runway 的时间线或正经 NLE 抢饭碗。它抢的是空白页。现实用例就是仓库示例暗示的那个:短、自足、一段话能说清的东西——儿童故事、科普片、还没预算的提案概念片。

如果你自己在搭 agent,它也是个真有用的参考实现。idea2video 和 script2video 之间那条缝切对了:一个是创作 agent,一个是执行 agent,多数人做这类工具会把两者搅成一团没法维护的东西。

两条提醒,直说。一,README 没写许可证。对一个 12.8K stars 的仓库,这不是细节,是商用前的硬堵点,直到它说清楚。二,成本模型是隐形的。快速开始里没有预算上限、没有单次预估、没有 dry-run——四场卡通要花多少钱,你第一次知道是账单到手的时候。

另一条大热的 agent 视频仓库 OpenMontage 走了反方向:硬闸门、明写 10 美元默认上限、每个动作 0.5 美元的审批阈值。ViMax 选的是流畅。两种都站得住。但只有一种能活着见到财务部。

哪部分会留下来

一年之后,ViMax 调的视频模型会更好更便宜,配置 schema 大概也被人重写了。活下来的可能是这套交互方式:给系统一个前提,不是一段提示词;让它给你看候选关键帧,不是一条 take;把剧本当成镜头必须满足的合同。

这套模式已经在到处都是——在 video-to-game 里,一段生成的片段成了 coding agent 必须对齐的设计稿;在 OpenMontage 里,流水线在每个创作闸口停下来等人批。行业花了两年吵哪个模型赢。更有用的那场争论,也是这些仓库真正在吵的,是谁有权做第二个决定。

相关文章