ByteDances SeedRealtime nimmt zwei Bilder pro Sekunde und entscheidet selbst, wann es spricht

Die meisten Produkte, bei denen „die KI sieht und spricht", sind eine Pipeline im Trenchcoat. Spracherkennung macht aus Ihrer Stimme Text, ein Vision-Modell beschreibt das Bild, ein Sprachmodell entscheidet, was gesagt wird, und eine Sprachsynthese sagt es. Vier Modelle, drei Übergaben, und ein Latenzbudget, das in den Fugen draufgeht.
Doubao-Seed-Realtime-1.0 von ByteDance versucht, die Fugen zu entfernen. Volcengine beschreibt es als Ende-zu-Ende-Echtzeitmodell für Audio und Video, aufgebaut auf Doubaos Echtzeitstimme 3.0, die schon vollduplex lief. Neu ist, dass der Client Kamera- oder Bildschirm-Frames in dieselbe Sitzung schieben kann, mit höchstens zwei Frames pro Sekunde, und das Modell über das spricht, was es sieht.
Wofür zwei Frames pro Sekunde gut sind
Bei zwei Frames pro Sekunde bekommen Sie Szenenbewusstsein. Video-Understanding braucht eine deutlich höhere Rate.
Bei dieser Rate erkennt das Modell, dass ein Wasserkocher auf dem Herd steht, dass ein Formular drei leere Felder hat, dass die Person am Bildschirm einen anderen Gegenstand hält als vor einer Minute. Es sieht keine Geste zu Ende gehen, folgt keinem schnellen Schwenk und kann nicht beurteilen, ob ein Sturz echt war. Wer je einen 2-FPS-Zeitraffer gesehen hat, kennt das Gefühl: Die Welt ist lesbar, und nichts bewegt sich.
Die Rahmung von Volcengine ist Absicht. Videoframes und Bilder kommen als Kontext eines Gesprächs herein, nicht als Material für den Videoschnitt. Die Doku nennt außerdem eine Bildersuche, ein Frame kann also eine visuelle Suche auslösen und nicht nur eine Beschreibung.
Ehrlich gelesen ersetzt das einen Prompt wie „beschreib meinen Bildschirm" durch einen Live-Kommentator, und die Decke setzt die Abtastrate. Für einen Support-Anruf, bei dem jemand sein Handy auf einen Router richtet, sind 2 FPS reichlich. Für alles mit Bewegung ist es eine Diashow.
Das hat eine praktische Folge für den Bau. Zwei Frames pro Sekunde heißt rund 500 ms zwischen zwei Bildern, das Modell ist also nie mehr als eine halbe Sekunde hinter dem Raum: schnell genug, um eine Veränderung zu kommentieren, langsam genug, um eine Handlung zu verpassen. Prompts sollten nach Zustand fragen („steht die Pfanne noch auf dem Herd?"), nicht nach Ereignissen („hat er sie hochgehoben?"). Teams, die für Zustände bauen, bekommen brauchbare Antworten; Teams, die für Ereignisse bauen, bekommen selbstsichere Vermutungen.
Sprechen, ohne gefragt zu werden
Was das Produkt verändert, ist proaktives Sprechen. Das Modell wartet nicht auf eine Frage. Es liest weiter Szene und Gespräch, und wenn es etwas beizutragen hat, sagt es das: eine Erinnerung, dass sich der Gegenstand bewegt hat, eine Warnung, dass die Seite sich geändert hat, ein Vorschlag, bevor Sie fragen.
Das ist ein anderer Interaktionsvertrag als bei einem Sprachassistenten. Ein Weckwort setzt voraus, dass der Mensch jeden Zug eröffnet. Ein Modell, das einen Zug eröffnen kann, braucht ein Modell dafür, wann es das nicht tun sollte. Die Doku gibt Entwicklern die Regler dafür: Dialogkontext, zusätzliche Parameter, Standortfelder und die Möglichkeit, Ergebnisse von Function Calls in die Sitzung zurückzugeben.
Vollduplex mit Unterbrechung ist die andere Hälfte. Sie können dazwischenreden, das System stoppt seine eigene Ausgabe und hört wieder zu. Über einen Handylautsprecher klingt das weniger nach Kommandozeile und mehr nach einem Anruf.
Die Rohre, die Entwickler wirklich anfassen
Der Endpoint ist ein WebSocket: wss://openspeech.bytedance.com/api/v3/realtime. Beide Richtungen sind ereignisbasiert: Sitzungskonfiguration nach oben, Audio- und Text-Events nach unten, dazu Events für Client-Unterbrechung, Function-Call-Ergebnisse und Sitzungsende. Demo-Clients gibt es für Go 1.24, Python 3.7 und Web, was die Zielgruppe verrät: Anwendungsentwickler, keine Forscher.
Die Konfigurationsfläche ist groß und eine Lektüre wert, bevor Sie ein Feature versprechen. Ein paar Beispiele:
- strict_audit steht standardmäßig auf true, und mit audit_response definieren Sie, was das Modell sagt, wenn eine Nutzeranfrage den Sicherheitsfilter auslöst. Eine eigene Absagezeile statt Stille ist eine echte Produktentscheidung. - enable_volc_websearch schaltet die eingebaute Websuche ein, mit zwei Service-Typen. Der Custom-Typ ist rund 350 ms schneller und liefert mehr Ergebnisse pro Anfrage; der globale deckt mehr vom Web ab und unterstützt einstellbare Zusammenfassungslänge sowie Bilder aus den Quellseiten. - visual_search_config verdrahtet den Frame-Input mit der Bildersuche, derzeit nur über den globalen Dienst. - Bei TTS lässt sich Text in eckigen Klammern herausfiltern, damit Regieanweisungen nicht vorgelesen werden, dazu Dialektwahl bei vier bestimmten Stimmen und Loudness-Normalisierung. - aigc_metadata kann ein implizites Wasserzeichen mit Kennungen von Produzent und Verbreiter einbetten. Angesichts der Regulierungsrichtung in China ist das keine optionale Dekoration.
Der Teil, der ein Compliance-Produkt ist
Zwei Einstellungen fallen auf, weil sie Politik als API-Parameter sind.
strict_audit standardmäßig an heißt: Die sichere Konfiguration ist die, die Sie bekommen, wenn Sie nichts tun. Und das Feld für die Audit-Antwort heißt: Eine blockierte Anfrage erzeugt trotzdem einen brauchbaren Zug statt Funkstille. Für ein Modell, das von sich aus spricht, ist Stille nach einer Absage schlimmer als ein vorformuliertes „Dabei kann ich nicht helfen".
Der andere ist der AIGC-Metadatenblock. Produzentenname, Produktions-ID, Verbreitername, Verbreitungs-ID: Diese Felder existieren, damit generiertes Audio nachverfolgbar ist. In einem Markt, in dem die Kennzeichnung von KI-Inhalten in die Regulierung geschrieben wird, ist der Traceability-Hook in der Sitzungskonfiguration billiger als das Nachrüsten.
Wo es sich entscheiden wird
Fünf Fragen.
Latenz, für die Volcengine keine Schlagzeilenzahl nennt. Ende-zu-Ende-Modelle gewinnen beim Entfernen der Fugen, und sie müssen trotzdem die 91 ms bis zum ersten Audio schlagen, die spezialisierte Sprach-Anbieter inzwischen nennen.
Kameras, die immer laufen. Ein Modell, das Ihren Bildschirm beobachtet und sich meldet, braucht eine Datenschutzgeschichte jenseits von „das ist Ihr eigenes Gerät". Frame-Capture bei 2 FPS ist immer noch Frame-Capture.
Ermüdung durch proaktives Sprechen. Jeder Assistent, der zuerst spricht, wird innerhalb einer Woche stummgeschaltet, wenn er sich zweimal irrt. Die Latte für „soll ich das sagen" liegt höher als für „antworte darauf".
Kosten pro Minute, besonders bei Videoframes. Zwei Frames pro Sekunde sind 120 Frames pro Minute, und irgendwer bezahlt sie.
Die Schwerkraft des Ökosystems. Doku, Demos und Konsole sind zuerst chinesisch, und das Produkt lebt in Volcengine. Für Teams, die schon dort sind, in Ordnung; für alle anderen ein echter Integrationsaufwand.
Was das für die Pipeline bedeutet
Wenn Sie Sprache, Vision und Sprachmodell für ein Live-Produkt zusammengenäht haben, entfernt diese Klasse von Modellen die Fugen und nimmt Ihnen etwas Kontrolle. Sie verlieren die Möglichkeit, das Vision-Modell zu tauschen, und gewinnen eine Sitzung, in der das Modell den Frame schon gesehen hat, wenn der Nutzer zu sprechen beginnt.
Das 2-FPS-Limit ist der Hinweis. ByteDance verkauft hier kein Video-Understanding, sondern Präsenz: billig genug, um dauerhaft zu laufen, meinungsstark genug, um zuerst zu sprechen. Ob das nützt, hängt davon ab, ob Ihr Produkt eine Szene hat, die es wert ist, so langsam beobachtet zu werden.
Verwandte Artikel
Ein Server, eine KI-Streamerin: im Code, der einen nächtlichen Livestream trägt
open-yoki ist der Produktionscode einer KI-Host, die jeden Abend auf Binance Square streamt, mit entfernten Geld-Features, Stimme und Persona. headless Chrome zeichnet das Bild, ffmpeg schiebt RTMP, ein Markdown-Ordner entscheidet über Laune und Posts.
Cicada hört dem Audio deines Meetings direkt zu, ohne Bot im Raum
Cicada ist eine kostenlose App für Mac, Windows, Linux und Android, die aus dem Systemaudio zweisprachige Untertitel und strukturierte Meeting-Notizen schreibt. Auf Tastendruck sprichst du deine Antwort in der anderen Sprache mit deiner eigenen geklonten Stimme. Kein Bot tritt dem Call bei.
Pinky lässt einen Agent dein Handy bedienen und hält den Senden-Knopf fest, bis du auf Erlauben tippst
Pinky verbindet jeden MCP-Agent mit einem echten iPhone oder Android und erzwingt die Freigabe in seiner eigenen Gateway statt in einem Prompt. Bank-Apps sind unsichtbar, Passwortfelder tabu, und unter Android 13 bekommt der Agent einen versteckten zweiten Bildschirm.
AnyModelBot stellt ein kleines Team aus KI-Bots auf deinen eigenen Rechner, Keys inklusive
AnyModelBot ist eine Desktop-App, die mehrere Bots gleichzeitig laufen lässt, jeder mit eigener Persona, eigenem Modell, Workspace und Gedächtnis. Man spricht sie in der App an oder über WeChat, Feishu, Telegram, Slack und Discord, und Dateien, Verlauf und API-Keys bleiben auf der eigenen Platte.