プロンプトではなく「ログライン」を渡す動画エージェント、ViMaxの12.8Kスター

ViMaxでいちばん面白いのは、動画を作れることではありません。そんなリポジトリはいくらでもあります。面白いのは、リポジトリ同梱のサンプルがプロンプトを要求しないことです。要求してくるのはログラインです。
idea = \
"""
If a cat and a dog are best friends, what would happen when they meet a new cat?
"""
user_requirement = \
"""
For children, do not exceed 3 scenes.
"""
style = "Cartoon"
このブロックはmain_idea2video.pyの中にあります。Pythonファイルを編集し、APIキーを3つ設定して、実行する。返ってくるのは完成した短編のはずです。脚本、絵コンテ、キャラクターデザイン、カット、そして組み上がった動画。リポジトリはHKUDS/ViMax、スターは約12.8K。売り文句は、エージェント1体が監督、脚本、プロデューサー、生成の4役を同時にこなすというものです。
それが成功するかどうかと、この枠組みが正しいかどうかは別の話です。枠組みのほうは正しい。市場にあるテキスト・トゥ・ビデオのツールは、ほぼどれも判断をしてくれません。1文を渡すと5秒が返ってくる。その1文より上流のすべて、キャラクターは誰なのか、2カット目は何を映すのか、3カット目は1カット目と矛盾していないか。全部こちらの仕事です。ViMaxの賭けは、足りなかったのはモデルではなく、モデルに何を頼むかを決める層だった、というものです。
中に入っているもの
入口は3つあり、混同されがちなので分けておきます。
アイデアから動画へ。 main_idea2video.pyは、前提、制約の1文、スタイルの1語を受け取ります。エージェントが脚本を書き、シーンに割り、キーフレームを生成し、そのキーフレームを動画モデルに渡します。
脚本から動画へ。 main_script2video.pyは執筆段階を飛ばします。脚本らしい形式でシーンを渡します。EXT. SCHOOL GYM - DAY、括弧書きの年齢、独立した行のセリフ。そこに「テンポよく、カットは20以下で」といった要件を添えます。エージェントが解釈し、配役し、生成します。
対話型TUIとローカルWeb UI。 ランタイムは同じで、フロントエンドが2つ。TUIは速い道で、Web UIはプロジェクト名、会話ペイン、絵コンテのプレビュー、成果物の確認を提供します。
設定ファイルの中にもう1つ、上の3つより重要だと思うものが隠れています。image_selectionです。
image_selection:
num_candidates: 2 # Set to 1 to disable selection.
既定では、ViMaxはキーフレームの候補を2枚並行で生成し、視覚を扱えるチャットモデルに良いほうを選ばせます。小さな機能ですが、意味は大きい。画像生成を、気に入るまで回すスロットマシンとして扱っていないということです。コストのかかる判断として扱い、しかも両方を見られるものに決めさせています。READMEはAPI費用が増えることも正直に書いています。エージェントとforループの違いは、まさにそこです。
インストールの現実
コマンドは4つ。Windowsを使っているなら、そのうち1つが挫折の原因になります。
git clone https://github.com/HKUDS/ViMax.git
cd ViMax
uv sync
環境はこれだけです。uvが面倒を見ます。クイックスタートにcondaのレシピもDockerファイルもありません。続いてこうします。
cp configs/agent.example.yaml configs/agent.local.yaml
そして3つのブロックを埋めます。1つではなく3つ。言語モデル、画像生成、動画生成。それぞれにモデル名、ベースURL、キーが要ります。
llm:
model_provider: openai
model: <YOUR_LLM_MODEL>
base_url: <YOUR_LLM_BASE_URL>
api_key: <YOUR_API_KEY>
image:
model: <YOUR_IMAGE_MODEL>
base_url: <YOUR_IMAGE_BASE_URL>
api_key: <YOUR_API_KEY>
video:
model: <YOUR_VIDEO_MODEL>
base_url: <YOUR_VIDEO_BASE_URL>
api_key: <YOUR_API_KEY>
設定ファイルを置きたくない場合は、同じ値をVIMAX_LLM_API_KEY、VIMAX_IMAGE_API_KEY、VIMAX_VIDEO_API_KEYから渡せます。そのうえでvimax tuiを叩けばセッションが始まり、vimax tui resume <session_id>で再開できます。
プロバイダが3ついる点は軽く見られがちです。面倒な初期設定ではなく、構造がそのまま表に出ているだけです。ViMaxは、差し込んだものに糊でくっついている。リポジトリのサンプル設定はチャットにOpenRouter、画像にGoogleのクラス、動画にGoogleのクラスを指しています。ImageGeneratorNanobananaGoogleAPIとVideoGeneratorVeoGoogleAPIです。クラスパスを差し替えればベンダーも差し替わる。よくラベルが貼られた電源タップと同じ種類の柔軟さです。
Web UIは別インストールです。
cd web
npm install
npm run dev
127.0.0.1:4173にバインドします。リモートのマシンならポートを転送します。VIMAX_WEB_PORTで変えられます。珍しいことは何もありませんが、「ローカルWeb UI」は文字どおりローカルです。ホスティングされた製品ではなく、ポートとあなたのキーの間に認証層もありません。

アイデアからMP4までの間で、エージェントは何をしているのか
正直に言えば、小規模な制作チームが回している工程と同じです。口論が減っただけ。
前提を読む。トーンを決める。シーン割りで脚本を書く。ビジュアルのスタイルを決め、最後まで保つ。各シーンをカメラ位置と被写体を伴うカットとして記述する。キーフレームを生成する。候補から選ぶ。アニメーションさせる。組み上げる。組み上がったものが最初の前提とまだ合っているか確認する。
面白い失敗は最後の段階で起きます。動画モデルは漂流します。あるカットと次のカットでジャケットの色が変わる。窓が2つだった部屋が3つになる。人間の編集者ならそれを見つけたら撮り直すか、避けるように切ります。エージェントが見つけた場合、再生成するか、ずれを許容するかを決めなければならない。再生成には金がかかります。READMEが見せている限り、ViMaxの答えはキーフレームの選択と、脚本を動かさないことに寄りかかるというものです。一貫性チェッカーはうたっていません。
本気で評価するなら、まずそこを試すべきです。「きれいな30秒を作れるか」ではなく、同じキャラクターが同じ通りを歩く4カットを頼んで、通りが何回変わるか数える。
どこに収まり、どこに収まらないか
ViMaxはRunwayのタイムラインや本物のNLEと競合していません。競合しているのは白紙のページです。現実的な使い道は、リポジトリのサンプルが示しているとおり、全体を1段落で指定できる短い完結もの。子供向けの話、解説、まだ予算のない企画のコンセプト証明。
自分でエージェントを組む人には、かなり有用な参照実装でもあります。idea2videoとscript2videoの分け方が正しい継ぎ目です。片方は創造のエージェント、もう片方は実行のエージェント。この手のツールを作る人の多くは、この2つを混ぜて保守できない塊にしてしまいます。
はっきり書くべき注意が2つあります。1つ目、READMEはライセンスを明示していません。12.8Kスターのリポジトリでこれは細部ではなく、明文化されるまで商用利用の障害です。2つ目、コストの形が見えません。予算の上限も、実行ごとの見積もりも、クイックスタートにドライランもない。4シーンのカートゥーンがいくらかかるかは、請求書が来て初めて分かります。
今月もう1つの大きなエージェント型動画リポジトリ、OpenMontageは逆の道を取りました。厳格なゲート、既定10ドルの上限、1アクション50セントの承認しきい値。ViMaxは流れを選んだ。どちらも筋は通っています。経理部門との接触に耐えるのは、片方だけでしょう。
長く残る部分
1年後、ViMaxが呼ぶ動画モデルはもっと良く、もっと安くなっているはずです。設定スキーマも誰かが書き直しているでしょう。おそらく残るのは対話の型です。プロンプトではなく前提を渡す。1テイクではなくキーフレームの候補を見せる。脚本を、各カットが満たすべき契約として固定する。
その型はすでにあちこちに出ています。動画からゲームを作る領域では、生成したクリップがコーディングエージェントの合わせるべき設計書になります。OpenMontageでは、制作の分岐ごとにパイプラインが承認のために止まります。業界は2年間、どのモデルが勝つかを議論してきました。もっと有用な議論、これらのリポジトリが実際にしている議論は、2番目の判断を誰に許すかという話です。
関連記事
中国製 Android のシステム UI に載った広告を切る、コミュニティ管理のタップ表
システムには触らず、アンロックも書き込みもしない。ベンダーがもともと用意したスイッチを一つずつ倒すだけだ。代償は、この一覧を書き続ける人が要ることにある。
GPT Image 2.6 はトークン単価を据え置き、請求額を上げた
GPT Image 2.6 は 2.5 のトークン単価をすべて引き継ぎながら、1 枚あたりの費用は上がった。仕事の多くが出力トークン側に移ったからだ。11 日目の価格構造は、ランキングより多くを語る。
外から IDM を作り直した人が、触れなかった部分を書き残した
Mister Download Manager は Internet Download Manager の流れを Rust で作り直し、5 倍の速度と 86 言語を掲げる。より興味深いのは、何もコピーせずにどう作ったのかを説明した段落のほうだ。
Rune はエージェントが自分の仕事を検証できるように作られた Rust UI フレームワーク
Rune はヘッドレスで描画し、要素ツリーを出力し、スクリプト化された入力を受け付ける。スクリーンショットでは決して得られない、diff できる信号をコーディングエージェントに渡せる。フレームワークはプレリリースで、プルリクエストは受け付けない。