← Zurück zum Blog
Aica. 6 Min. Lesezeit

ViMax fragt nicht nach einem Prompt, sondern nach einer Logline

Veröffentlicht 10. Nov. 2026
ViMax fragt nicht nach einem Prompt, sondern nach einer Logline

Das Interessanteste an ViMax ist nicht, dass es Video generiert. Das können viele Repositories. Interessant ist, dass das eigene Beispiel im Repo keinen Prompt verlangt, sondern eine Logline.

idea = \
"""
If a cat and a dog are best friends, what would happen when they meet a new cat?
"""
user_requirement = \
"""
For children, do not exceed 3 scenes.
"""
style = "Cartoon"

Der Block steht in main_idea2video.py. Man bearbeitet die Python-Datei, trägt drei API-Keys ein und startet sie. Herauskommen soll ein fertiger Kurzfilm: Drehbuch, Storyboard, Charakterdesigns, Einstellungen und ein montiertes Video. Das Repository heißt HKUDS/ViMax, hat rund 12.8K Stars, und der Anspruch ist, dass ein Agent vier Rollen gleichzeitig hält – Regie, Drehbuch, Produktion und Generierung.

Ob das gelingt, ist eine andere Frage als die, ob der Ansatz richtig ist. Der Ansatz ist richtig. Fast jedes Text-to-Video-Werkzeug auf dem Markt verweigert Entscheidungen. Man gibt einen Satz, bekommt fünf Sekunden. Alles oberhalb dieses Satzes – wer die Figur ist, was die zweite Einstellung zeigen soll, ob die dritte der ersten widerspricht – bleibt beim Nutzer. ViMax wettet darauf, dass nicht das Modell gefehlt hat, sondern die Schicht, die entscheidet, was vom Modell verlangt wird.

Was im Kasten steckt

Drei Einstiegspunkte, und die sollte man auseinanderhalten, weil sie ständig vermischt werden.

Idee zu Video. main_idea2video.py nimmt eine Prämisse, einen einschränkenden Satz und ein Stilwort. Der Agent schreibt das Drehbuch, teilt es in Szenen, erzeugt Keyframes und übergibt sie einem Videomodell.

Drehbuch zu Video. main_script2video.py überspringt das Schreiben. Man liefert ein Szenenskript in drehbuchartiger Form – EXT. SCHOOL GYM - DAY, Alter der Figuren in Klammern, Dialog in eigener Zeile – plus eine Vorgabe wie „schnelles Tempo, höchstens 20 Einstellungen“. Der Agent parst es, besetzt es und generiert.

Interaktive TUI und lokale Web-UI. Gleiche Laufzeit, zwei Oberflächen. Die TUI ist der schnelle Weg; die Web-UI bietet benannte Projekte, ein Konversationsfenster, Storyboard-Vorschauen und Einblick in die Artefakte.

Es gibt noch ein viertes Detail in der Konfiguration, das mir wichtiger erscheint als die drei oben: image_selection.

image_selection:
  num_candidates: 2  # Set to 1 to disable selection.

Standardmäßig erzeugt ViMax zwei Keyframe-Kandidaten parallel und lässt ein vision-fähiges Chatmodell den besseren auswählen. Ein kleines Feature mit großer Wirkung. Es heißt: Das System behandelt Bildgenerierung nicht als Spielautomat, an dem man so lange dreht, bis es gut aussieht, sondern als Entscheidung mit Kosten, getroffen von etwas, das beide Optionen ansehen kann. Die README sagt offen, dass das die API-Kosten erhöht. Es ist auch der Unterschied zwischen einem Agenten und einer for-Schleife.

Die Installation, ehrlich betrachtet

Vier Befehle, und einer davon ist unter Windows der Grund aufzugeben.

git clone https://github.com/HKUDS/ViMax.git
cd ViMax
uv sync

Das ist die Umgebung. uv erledigt sie; im Schnellstart gibt es weder ein Conda-Rezept noch ein Dockerfile. Danach:

cp configs/agent.example.yaml configs/agent.local.yaml

Und jetzt füllt man drei Blöcke. Nicht einen – drei. Ein Sprachmodell, ein Bildgenerator, ein Videogenerator, jeder mit Modellname, Basis-URL und Key.

llm:
  model_provider: openai
  model: <YOUR_LLM_MODEL>
  base_url: <YOUR_LLM_BASE_URL>
  api_key: <YOUR_API_KEY>

image:
  model: <YOUR_IMAGE_MODEL>
  base_url: <YOUR_IMAGE_BASE_URL>
  api_key: <YOUR_API_KEY>

video:
  model: <YOUR_VIDEO_MODEL>
  base_url: <YOUR_VIDEO_BASE_URL>
  api_key: <YOUR_API_KEY>

Wer keine Konfigurationsdatei will, bekommt dieselben Werte aus VIMAX_LLM_API_KEY, VIMAX_IMAGE_API_KEY und VIMAX_VIDEO_API_KEY. Dann startet vimax tui eine Sitzung, und vimax tui resume <session_id> setzt eine fort.

Drei Provider sind der Teil, den Leute unterschätzen. Das ist keine Installationslästigkeit, sondern die Architektur, die durchscheint: ViMax klebt an dem, was man einsteckt. Die Beispielkonfiguration zeigt für Chat auf OpenRouter, für Bilder auf eine Google-Klasse und für Video auf eine Google-Klasse – ImageGeneratorNanobananaGoogleAPI und VideoGeneratorVeoGoogleAPI. Klassenpfad tauschen, Anbieter tauschen. Flexibel in der Art einer gut beschrifteten Steckdosenleiste.

Die Web-UI ist eine eigene Installation:

cd web
npm install
npm run dev

Sie bindet an 127.0.0.1:4173. Auf einer entfernten Maschine leitet man den Port weiter; VIMAX_WEB_PORT verschiebt ihn. Nichts Exotisches, aber „lokale Web-UI“ heißt genau das – kein gehostetes Produkt, und zwischen dem Port und den eigenen Keys liegt keine Authentifizierung.

A dark editing suite with a storyboard, a script page and a video timeline on three monitors

Was der Agent zwischen Idee und MP4 wirklich tut

Die ehrliche Antwort: dieselbe Pipeline, die ein kleines Produktionsteam fährt, nur ohne Diskussionen.

Prämisse lesen. Ton festlegen. Drehbuch mit Szenen schreiben. Einen visuellen Stil wählen und durchhalten. Jede Szene als Einstellung beschreiben, mit Kameraposition und Motiv. Keyframes erzeugen. Zwischen Kandidaten wählen. Animieren. Montieren. Prüfen, ob das Ergebnis noch zur Ausgangsprämisse passt.

Der interessante Fehlerfall liegt im letzten Schritt. Videomodelle driften. Die Jacke einer Figur wechselt zwischen zwei Einstellungen die Farbe. Ein Raum mit zwei Fenstern hat plötzlich drei. Merkt ein menschlicher Cutter das, dreht er neu oder schneidet darum herum. Merkt es ein Agent, muss er entscheiden, ob er neu generiert – was Geld kostet – oder die Abweichung akzeptiert. ViMax' Antwort ist laut README, sich auf die Keyframe-Auswahl und ein festes Drehbuch zu verlassen. Einen Konsistenz-Checker wirbt das Projekt nicht ein.

Genau das sollte man zuerst testen, wenn man das ernsthaft bewertet. Nicht „schafft es schöne 30 Sekunden“. Sondern: vier Einstellungen derselben Figur in derselben Straße verlangen und zählen, wie oft die Straße wechselt.

Wo das passt, und wo nicht

ViMax konkurriert nicht mit Runways Timeline oder einem echten NLE. Es konkurriert mit dem leeren Blatt. Der realistische Fall ist der, den das Beispiel im Repo selbst andeutet: kurze, in sich geschlossene Stücke, die sich in einem Absatz beschreiben lassen – eine Kindergeschichte, ein Erklärstück, ein Proof of Concept für einen Pitch ohne Budget.

Es ist außerdem eine brauchbare Referenzimplementierung, wenn man selbst einen Agenten baut. Die Trennung zwischen idea2video und script2video sitzt an der richtigen Stelle: Der eine ist ein kreativer Agent, der andere ein ausführender, und die meisten, die so etwas bauen, verwischen beides zu einem unwartbaren Haufen.

Zwei Einschränkungen, klar benannt. Erstens: Die README nennt keine Lizenz. Bei einem Repository mit 12.8K Stars ist das kein Detail, sondern ein Blocker für kommerzielle Nutzung, bis es geklärt ist. Zweitens: Das Kostenmodell ist unsichtbar. Kein Budgetdeckel, keine Schätzung pro Lauf, kein Dry-Run im Schnellstart – was ein Cartoon mit vier Szenen kostet, erfährt man erst mit der Rechnung.

OpenMontage, das andere große agentische Video-Repository dieses Monats, ging den umgekehrten Weg: harte Schranken, ein Standarddeckel von 10 Dollar, eine Freigabegrenze von fünfzig Cent pro Aktion. ViMax setzt auf Fluss. Beides ist vertretbar. Nur eines davon übersteht den Kontakt mit einer Finanzabteilung.

Der Teil, der gut altern wird

In einem Jahr werden die Videomodelle, die ViMax aufruft, besser und billiger sein, und irgendwer wird das Konfigurationsschema neu geschrieben haben. Was wahrscheinlich bleibt, ist das Interaktionsmuster: dem System eine Prämisse geben statt einen Prompt; Keyframe-Kandidaten zeigen statt einer einzigen Aufnahme; das Drehbuch als Vertrag behalten, den die Einstellungen erfüllen müssen.

Dieses Muster taucht schon überall auf – bei Video-to-Game, wo ein generierter Clip zum Designdokument wird, das ein Coding-Agent treffen muss; bei OpenMontage, wo die Pipeline an jedem kreativen Gate auf Freigabe wartet. Die Branche hat zwei Jahre darüber gestritten, welches Modell gewinnt. Die nützlichere Debatte, die diese Repos tatsächlich führen, dreht sich darum, wer die zweite Entscheidung treffen darf.

Verwandte Artikel