SeedRealtime de ByteDance prend deux images par seconde et décide quand parler

La plupart des produits « l'IA voit et parle », c'est un pipeline déguisé en trench-coat. La reconnaissance vocale transforme votre voix en texte, un modèle de vision décrit l'image, un modèle de langage décide quoi dire, un synthétiseur l'énonce. Quatre modèles, trois passages de relais, et un budget de latence qui se dépense dans les jointures.
Doubao-Seed-Realtime-1.0, chez ByteDance, essaie de supprimer les jointures. Volcengine le présente comme un modèle audio-vidéo temps réel de bout en bout, bâti sur la voix temps réel 3.0 de Doubao, qui tournait déjà en full duplex. La nouveauté : le client peut pousser des frames de caméra ou d'écran dans la même session, à deux frames par seconde maximum, et le modèle parle de ce qu'il voit.
À quoi servent deux images par seconde
À deux frames par seconde, vous obtenez de la conscience de scène. La compréhension vidéo, elle, demande un débit bien plus élevé.
À ce rythme, le modèle repère une bouilloire sur la plaque, un formulaire avec trois champs vides, une personne qui tient un objet différent de celui d'il y a une minute. Il ne voit pas un geste se terminer, ne suit pas un panoramique rapide, ne juge pas si une chute était réelle. Qui a regardé un time-lapse à 2 FPS connaît la sensation : le monde est lisible et rien ne bouge.
Le cadrage de Volcengine est délibéré. Les frames et les images entrent comme contexte de conversation, pas comme matière à montage. La doc mentionne aussi une recherche d'images : une frame peut déclencher une recherche visuelle, pas seulement une description.
Lecture honnête : cela remplace un prompt « décris mon écran » par un narrateur en direct, et le plafond est fixé par la fréquence d'échantillonnage. Pour un appel au support où quelqu'un braque son téléphone sur un routeur, 2 FPS suffisent. Pour tout ce qui bouge, c'est un diaporama.
Il y a une conséquence pratique sur la façon de construire. Deux frames par seconde, c'est environ 500 ms entre deux images : le modèle n'est jamais à plus d'une demi-seconde derrière la pièce, assez rapide pour commenter un changement, assez lent pour rater une action. Les prompts doivent porter sur l'état (« la casserole est encore sur le feu ? ») plutôt que sur l'événement (« il l'a ramassée ? »). Les équipes qui conçoivent pour l'état obtiennent des réponses utiles, celles qui conçoivent pour l'événement obtiennent des suppositions assurées.
Parler sans qu'on lui demande
Ce qui change le produit, c'est la parole proactive. Le modèle n'attend pas la question. Il continue de lire la scène et la conversation, et quand il a quelque chose à ajouter, il le dit : un rappel que l'objet a bougé, un avertissement que la page a changé, une suggestion avant que vous ne la demandiez.
C'est un autre contrat d'interaction qu'un assistant vocal. Un mot d'éveil suppose que l'humain ouvre chaque tour. Un modèle qui peut ouvrir un tour a besoin d'un modèle du moment où il faut se taire. La doc laisse ces contrôles aux développeurs : contexte de dialogue, paramètres additionnels, champs de localisation, et la possibilité de renvoyer les résultats d'appel de fonction dans la session.
Le full duplex avec interruption, c'est l'autre moitié. Vous pouvez parler par-dessus, le système coupe sa propre sortie et revient à l'écoute. Passé par le haut-parleur d'un téléphone, ça ressemble moins à une ligne de commande qu'à un appel.
La plomberie que les développeurs touchent vraiment
L'endpoint est un WebSocket : wss://openspeech.bytedance.com/api/v3/realtime. Les deux sens sont événementiels : configuration de session en montée, événements audio et texte en descente, plus des événements pour l'interruption client, les résultats d'appel de fonction et la fin de session. Les clients de démo existent en Go 1.24, Python 3.7 et web, ce qui indique le public visé : des développeurs d'applications, pas des chercheurs.
La surface de configuration est large et mérite une lecture avant de promettre une fonctionnalité. Quelques exemples :
- strict_audit vaut true par défaut, et audit_response permet de définir ce que le modèle dit quand une requête déclenche le filtre de sécurité. Un refus maison au lieu du silence, c'est une vraie décision produit. - enable_volc_websearch active la recherche web intégrée, avec deux types de service. Le personnalisé est environ 350 ms plus rapide et renvoie plus de résultats par requête ; le global couvre davantage du web et accepte une longueur de résumé réglable ainsi que des images issues des pages sources. - visual_search_config branche l'entrée de frames sur la recherche d'images, pour l'instant uniquement via le service global. - Côté TTS : filtrer le texte entre crochets pour ne pas lire les didascalies, choisir un dialecte sur quatre voix précises, normaliser la sonie. - aigc_metadata peut intégrer un filigrane implicite avec les identifiants du producteur et du diffuseur. Vu la direction réglementaire en Chine, ce n'est pas un ornement facultatif.
La partie qui est un produit de conformité
Deux réglages ressortent, parce qu'ils sont de la politique exprimée en paramètres d'API.
strict_audit activé par défaut signifie que la configuration sûre est celle qu'on obtient en ne faisant rien, et le champ de réponse d'audit signifie qu'une requête bloquée produit quand même un tour utilisable au lieu d'un silence. Pour un modèle qui parle de lui-même, le silence après un refus est pire qu'un « je ne peux pas vous aider là-dessus » écrit d'avance.
L'autre, c'est le bloc de métadonnées AIGC. Nom du producteur, ID de production, nom du diffuseur, ID de diffusion : ces champs existent pour que l'audio généré soit traçable. Sur un marché où l'étiquetage des contenus IA entre dans la réglementation, livrer le crochet de traçabilité dans la config de session coûte moins cher que de le rajouter après.
Là où ça sera jugé
Cinq questions.
La latence, sur laquelle Volcengine ne donne aucun chiffre d'affiche. Les modèles de bout en bout gagnent sur la suppression des jointures, et il leur reste à battre les 91 ms de premier audio que les vendeurs de voix spécialisés mettent aujourd'hui en avant.
Les caméras toujours allumées. Un modèle qui regarde votre écran et prend la parole a besoin d'une histoire de confidentialité qui aille au-delà de « c'est votre appareil ». Capturer des frames à 2 FPS reste capturer des frames.
La fatigue de la parole proactive. Tout assistant qui parle en premier est mis en sourdine en une semaine s'il se trompe deux fois. La barre pour « dois-je dire ça » est plus haute que pour « réponds à ça ».
Le coût à la minute, surtout pour les frames vidéo. Deux frames par seconde, c'est 120 frames par minute, et quelqu'un les paie.
La gravité de l'écosystème. Doc, démos et console sont d'abord en chinois, et le produit vit à l'intérieur de Volcengine. Très bien pour les équipes déjà là, vrai coût d'intégration pour les autres.
Ce que ça change pour le pipeline
Si vous assemblez des modèles de voix, de vision et de langage pour un produit live, cette classe de modèles supprime les jointures et retire du contrôle au passage. Vous perdez la possibilité de changer le modèle de vision, et vous gagnez une session où le modèle a déjà vu la frame quand l'utilisateur commence à parler.
La limite à 2 FPS est l'indice. ByteDance ne vend pas ici de la compréhension vidéo, mais de la présence : assez bon marché pour tourner en continu, assez affirmé pour parler le premier. L'utilité dépend de si votre produit a une scène qui mérite d'être regardée à cette lenteur.
Articles associés
Quelqu'un a mis le droit mondial dans git, on peut donc blâmer un article de loi
global-law conserve les textes de chaque pays dans un dépôt git où chaque commit correspond à une loi entrée en vigueur à une date connue. On peut lancer log, blame, show et diff sur un article, demander ce qui s'appliquait dans chaque pays un jour donné, et confier le tout à un assistant via MCP.
Un serveur, une streameuse IA : dans le code qui fait tourner un live nocturne
open-yoki est le code de production d'une hôte IA qui streame chaque soir sur Binance Square, personnalité, voix et fonctions liées à l'argent retirées. headless Chrome dessine la frame, ffmpeg pousse le RTMP, un dossier de Markdown décide de son humeur et de ce qu'elle publie.
Pinky laisse un agent piloter votre téléphone, et garde le bouton Envoyer enfoncé jusqu'à votre clic sur Autoriser
Pinky relie n'importe quel agent MCP à un vrai iPhone ou Android et impose l'approbation dans sa propre passerelle plutôt que dans un prompt. Les applis bancaires sont invisibles, les champs de mot de passe interdits, et sous Android 13 l'agent obtient un second écran caché.
Cicada écoute directement l'audio de votre réunion, sans bot dans la salle
Cicada est une application gratuite pour Mac, Windows, Linux et Android qui écrit des sous-titres bilingues et des notes de réunion structurées à partir de l'audio du système, puis vous laisse tenir une touche pour répondre dans l'autre langue avec votre propre voix clonée. Aucun bot ne rejoint l'appel.