← 返回部落格
Ai預計閱讀 8 分鐘

ViMax 不問提示詞,只問 logline:一個 agent 包辦編劇、分鏡到成片

發布於 2026年11月10日
ViMax 不問提示詞,只問 logline:一個 agent 包辦編劇、分鏡到成片

ViMax 最有意思的地方,不是它會生成影片。會做這件事的 repo 多得是。而是這個 repo 自己的範例不向你要提示詞,它要的是一句 logline。

idea = \
"""
If a cat and a dog are best friends, what would happen when they meet a new cat?
"""
user_requirement = \
"""
For children, do not exceed 3 scenes.
"""
style = "Cartoon"

那段程式碼放在 main_idea2video.py 裡。你改這個 Python 檔、設好三組 API key、然後執行。回傳的東西應該是一支完成的短片:腳本、分鏡、角色設計、鏡頭,還有剪好的影片。這個 repo 是 HKUDS/ViMax,目前累積約 12.8K 星,賣點是一個 agent 同時扛四份工作——導演、編劇、製片和生成器。

它成不成功,跟這個定位對不對是兩個問題。定位是對的。市面上幾乎每個 text-to-video 工具都拒絕做決定。你給它一句話,它給你五秒。那句話之上的一切——角色是誰、第二顆鏡頭該是什麼、第三顆鏡頭有沒有跟第一顆矛盾——都是你的問題。ViMax 賭的是:市場缺的從來不是模型,而是決定「該向模型要什麼」的那一層。

盒子裡到底裝了什麼

三個入口,值得分開講,因為大家一直把它們混在一起。

Idea to video. main_idea2video.py 收一個前提、一句限制、一個風格詞。agent 寫腳本、切成場次、生成關鍵影格,再把這些影格交給影片模型。

Script to video. main_script2video.py 跳過編劇階段。你給一份接近劇本格式的場次腳本——EXT. SCHOOL GYM - DAY、括號裡寫角色年齡、對白獨立成行——再加一句要求,例如「節奏快,不超過 20 顆鏡頭」。agent 解析它、選角、然後生成。

互動式 TUI 和本地網頁介面。 同一個執行環境,兩個前端。TUI 是快路徑;網頁介面給你具名專案、對話面板、分鏡預覽和產物檢視。

設定檔裡還藏著第四樣東西,我認為它比上面三個都重要:image_selection。

image_selection:
  num_candidates: 2  # Set to 1 to disable selection.

預設情況下,ViMax 會並行生成兩張關鍵影格候選,讓一個具備視覺能力的對話模型挑出比較好的那張。這是個小功能,但含意很大。意思是這個系統沒把生圖當吃角子老虎,一直重抽到看起來順眼為止;它把生圖當成一個有成本的決策,由一個能同時看到兩個選項的東西來做。README 也坦白說了這會拉高 API 花費。而這正是 agent 和 for 迴圈的差別。

安裝這件事,老實說

四行指令,其中一行會是你放棄的原因——如果你在 Windows 上。

git clone https://github.com/HKUDS/ViMax.git
cd ViMax
uv sync

環境就是這樣。uv 負責處理,quick start 裡沒有 conda recipe,也沒有 Docker file。然後:

cp configs/agent.example.yaml configs/agent.local.yaml

接著你要填三塊。不是一塊——是三塊。語言模型、圖像生成器、影片生成器,每一塊都要模型名稱、base URL 和 key。

llm:
  model_provider: openai
  model: <YOUR_LLM_MODEL>
  base_url: <YOUR_LLM_BASE_URL>
  api_key: <YOUR_API_KEY>

image:
  model: <YOUR_IMAGE_MODEL>
  base_url: <YOUR_IMAGE_BASE_URL>
  api_key: <YOUR_API_KEY>

video:
  model: <YOUR_VIDEO_MODEL>
  base_url: <YOUR_VIDEO_BASE_URL>
  api_key: <YOUR_API_KEY>

如果你根本不想用設定檔,同樣的值也可以從 VIMAX_LLM_API_KEY、VIMAX_IMAGE_API_KEY、VIMAX_VIDEO_API_KEY 來。然後 vimax tui 開一個 session,vimax tui resume <session_id> 接回先前那個。

三個供應商是大家最容易低估的部分。這不是設定上的麻煩,而是架構露了出來:ViMax 是黏在你插進去的東西上的。repo 裡的範例設定指向 OpenRouter 做對話、一個 Google 圖像類別、一個 Google 影片類別——ImageGeneratorNanobananaGoogleAPI 和 VideoGeneratorVeoGoogleAPI。換掉類別路徑,就換掉廠商。這種彈性,跟一條標示清楚的延長線差不多。

網頁介面要另外安裝:

cd web
npm install
npm run dev

它綁在 127.0.0.1:4173。在遠端機器上就做 port forwarding;VIMAX_WEB_PORT 可以改。沒什麼稀奇,但要注意「本地網頁介面」就是字面上的意思——這不是託管產品,port 和你那些 key 之間沒有任何驗證層。

A dark editing suite with a storyboard, a script page and a video timeline on three monitors

從你的點子到你的 MP4,agent 到底在做什麼

老實說:就是一個小型製作團隊跑的流程,只是少了爭執。

讀前提。定調性。寫一份有場次的腳本。挑一個視覺風格並堅持住。把每個場次描述成一顆有機位和主體的鏡頭。生成關鍵影格。在候選之間挑一個。做成動畫。組裝。檢查組裝完的東西還符不符合最開始那個前提。

有趣的失敗模式在最後一步。影片模型會漂移。角色的外套在兩個鏡頭之間換了顏色。本來有兩扇窗的房間變成三扇。人類剪接師看到會補拍,或繞過去剪。agent 看到則必須決定要不要重生成——那要花錢——或者接受漂移。就 README 目前寫的,ViMax 的答案是靠關鍵影格挑選、以及讓腳本保持固定。它沒有宣傳任何一致性檢查器。

如果你認真評估這個專案,這是最該先測的東西。不是「它能不能做出一段好看的 30 秒」,而是要求它拍同一個角色走過同一條街的四顆鏡頭,然後數那條街變了幾次。

它適合什麼,不適合什麼

ViMax 不是在跟 Runway 的時間軸或專業 NLE 競爭,它是在跟空白頁競爭。現實的用法就是 repo 範例暗示的那種:短、自成一體、整件事可以用一段話講完的作品——童話故事、解說、還沒拿到預算的提案概念片。

如果你自己在做 agent,它也是一份真的有用的參考實作。idea2video 和 script2video 切開的位置是對的:一個是創意 agent,一個是執行 agent,而大多數做這類工具的人會把兩者糊成一團無法維護的東西。

兩個該講白的警告。第一,README 沒有宣告授權。對一個 12.8K 星的 repo 來說,這不是細節,在釐清之前它就是商用的阻礙。第二,成本模型是隱形的。quick start 裡沒有預算上限、沒有單次執行估算、也沒有 dry-run 模式——你第一次知道四場卡通要多少錢,是帳單來的時候。

這個月另一個大型 agentic 影片 repo OpenMontage 走了相反的路:硬性關卡、明訂 10 美元的預設上限、每個動作 50 美分的核准門檻。ViMax 選了順暢。兩邊都站得住腳。但只有一個能撐過財務部門。

會留下來的那部分

一年後,ViMax 呼叫的那些影片模型會更好也更便宜,而且會有人把設定檔的 schema 重寫一遍。大概會活下來的是互動模式:給系統一個前提,而不是一句提示詞;讓它拿關鍵影格候選給你看,而不是只給一個 take;把腳本當成鏡頭必須滿足的合約。

這個模式已經到處都在出現——在 video-to-game 裡,生成出來的片段成了 coding agent 必須對齊的設計文件;在 OpenMontage 裡,流程在每個創意關卡停下來等核准。產業花了兩年在爭哪個模型會贏。更有用的那場爭論,也就是這些 repo 實際上在進行的,是誰有權做第二個決定。

相關文章