SeedRealtime de ByteDance toma dos imágenes por segundo y decide cuándo hablar

La mayoría de los productos en los que «la IA ve y habla» son un pipeline disfrazado con gabardina. El reconocimiento de voz convierte tu voz en texto, un modelo de visión describe el frame, un modelo de lenguaje decide qué decir y un sintetizador lo pronuncia. Cuatro modelos, tres traspasos y un presupuesto de latencia que se gasta en las juntas.
Doubao-Seed-Realtime-1.0, de ByteDance, intenta eliminar las juntas. Volcengine lo describe como un modelo de audio y vídeo en tiempo real de extremo a extremo, construido sobre la voz en tiempo real 3.0 de Doubao, que ya funcionaba en full duplex. Lo nuevo es que el cliente puede empujar frames de cámara o de pantalla a la misma sesión, a dos frames por segundo como máximo, y el modelo habla de lo que ve.
Para qué sirven dos frames por segundo
Con dos frames por segundo obtienes conciencia de escena. La comprensión de vídeo necesita una tasa mucho más alta.
A esa tasa el modelo distingue que hay una tetera en el fuego, que un formulario tiene tres campos vacíos, que la persona en pantalla sostiene un objeto distinto al de hace un minuto. No ve terminar un gesto, no sigue un barrido rápido ni juzga si una caída fue real. Quien haya visto un timelapse a 2 FPS conoce la sensación: el mundo se lee y nada se mueve.
El encuadre de Volcengine es deliberado. Los frames y las imágenes entran como contexto de una conversación, no como material de edición de vídeo. La documentación menciona además una búsqueda de imágenes, así que un frame puede disparar una búsqueda visual y no solo una descripción.
La lectura honesta es que esto cambia un prompt de «descríbeme la pantalla» por un narrador en directo, y el techo lo fija la tasa de muestreo. Para una llamada de soporte en la que alguien apunta el móvil a un router, 2 FPS sobran. Para cualquier cosa con movimiento, es un pase de diapositivas.
Hay una consecuencia práctica para cómo lo construyes. Dos frames por segundo son unos 500 ms entre imagen e imagen, así que el modelo nunca va más de medio segundo por detrás de la sala: lo bastante rápido para comentar un cambio y lo bastante lento para perderse una acción. Los prompts deberían preguntar por estados («¿la sartén sigue al fuego?») y no por eventos («¿la ha levantado?»). Los equipos que diseñan para estados obtienen respuestas útiles; los que diseñan para eventos obtienen conjeturas seguras de sí mismas.
Hablar sin que se lo pidan
Lo que cambia el producto es el habla proactiva. El modelo no espera una pregunta. Sigue leyendo la escena y la conversación, y cuando tiene algo que aportar lo dice: un aviso de que el objeto se movió, una advertencia de que la página cambió, una sugerencia antes de que la pidas.
Es un contrato de interacción distinto al de un asistente de voz. Una palabra de activación implica que el humano abre cada turno. Un modelo que puede abrir un turno necesita un modelo de cuándo no hacerlo. La documentación da a los desarrolladores los controles para eso: contexto de diálogo, parámetros adicionales, campos de ubicación y la posibilidad de devolver resultados de llamadas a funciones a la sesión.
El full duplex con interrupción es la otra mitad. Puedes hablar por encima y el sistema corta su propia salida y vuelve a escuchar. Si eso sale por el altavoz de un teléfono, se parece menos a una línea de comandos y más a una llamada.
La tubería que los desarrolladores tocan de verdad
El endpoint es un WebSocket: wss://openspeech.bytedance.com/api/v3/realtime. Las dos direcciones van por eventos: configuración de sesión hacia arriba, eventos de audio y texto hacia abajo, más eventos para la interrupción del cliente, los resultados de llamadas a funciones y el fin de sesión. Hay clientes de demo en Go 1.24, Python 3.7 y web, lo que dice a quién apunta: a desarrolladores de aplicaciones, no a investigadores.
La superficie de configuración es amplia y merece una lectura antes de prometer una función. Unos ejemplos:
- strict_audit vale true por defecto, y audit_response permite definir qué dice el modelo cuando una consulta del usuario dispara el filtro de seguridad. Una negativa propia en lugar de silencio es una decisión de producto real. - enable_volc_websearch activa la búsqueda web integrada, con dos tipos de servicio. El personalizado es unos 350 ms más rápido y devuelve más resultados por petición; el global cubre más web y admite longitud de resumen ajustable e imágenes de las páginas de origen. - visual_search_config conecta la entrada de frames con la búsqueda de imágenes, por ahora solo mediante el servicio global. - En TTS hay filtrado del texto entre corchetes para que no se lean las acotaciones, selección de dialecto en cuatro voces concretas y normalización de sonoridad. - aigc_metadata puede incrustar una marca de agua implícita con identificadores de productor y de propagador. Con la dirección regulatoria en China, no es decoración opcional.
La parte que es un producto de cumplimiento
Dos ajustes destacan porque son política escrita como parámetros de API.
Que strict_audit venga activado significa que la configuración segura es la que obtienes sin hacer nada, y el campo de respuesta de auditoría significa que una consulta bloqueada sigue produciendo un turno usable en lugar de un silencio. Para un modelo que habla por iniciativa propia, el silencio tras una negativa es peor que un «con eso no puedo ayudarte» escrito de antemano.
El otro es el bloque de metadatos AIGC. Nombre del productor, ID de producción, nombre del propagador, ID de propagación: los campos existen para que el audio generado sea rastreable. En un mercado donde el etiquetado de contenido IA está entrando en la regulación, enviar el gancho de trazabilidad en la configuración de sesión sale más barato que añadirlo después.
Dónde se va a juzgar
Cinco preguntas.
La latencia, para la que Volcengine no da ninguna cifra de titular. Los modelos de extremo a extremo ganan al quitar juntas, y aun así tienen que batir los 91 ms hasta el primer audio que los proveedores de voz especializados presumen ahora.
Las cámaras siempre encendidas. Un modelo que mira tu pantalla y toma la palabra necesita un relato de privacidad que vaya más allá de «es tu propio dispositivo». Capturar frames a 2 FPS sigue siendo capturar frames.
La fatiga del habla proactiva. Cualquier asistente que habla primero acaba silenciado en una semana si se equivoca dos veces. El listón para «¿debo decir esto?» es más alto que para «responde a esto».
El coste por minuto, sobre todo en frames de vídeo. Dos frames por segundo son 120 frames por minuto, y alguien los paga.
La gravedad del ecosistema. La documentación, las demos y la consola van primero en chino, y el producto vive dentro de Volcengine. Está bien para los equipos que ya están ahí y es un coste de integración real para el resto.
Qué significa para el pipeline
Si llevas tiempo cosiendo modelos de voz, visión y lenguaje para un producto en vivo, esta clase de modelo quita las juntas y también algo de control. Pierdes la posibilidad de cambiar el modelo de visión y ganas una sesión en la que el modelo ya ha visto el frame cuando el usuario empieza a hablar.
El límite de 2 FPS es la pista. ByteDance no vende aquí comprensión de vídeo, vende presencia: barata como para tenerla siempre encendida, con opinión como para hablar primero. Que sirva depende de si tu producto tiene una escena que merezca mirarse a esa velocidad.
Artículos relacionados
Un servidor, una streamer de IA: dentro del código que sostiene un directo nocturno
open-yoki es el código de producción de una host de IA que emite cada noche en Binance Square, sin persona, voz ni nada que toque dinero. headless Chrome dibuja el fotograma, ffmpeg empuja RTMP y una carpeta de Markdown decide su humor y lo que publica.
Pinky deja que un agent maneje tu teléfono y mantiene pulsado Enviar hasta que hagas clic en Permitir
Pinky conecta cualquier agent MCP a un iPhone o Android real y aplica la aprobación en su propia pasarela, no en un prompt. Las apps bancarias son invisibles, los campos de contraseña están vedados y en Android 13 el agent recibe una segunda pantalla oculta.
Alguien metió el derecho mundial en git, así que ahora puedes hacer blame a un artículo
global-law guarda los textos legales de cada país en un repositorio git donde cada commit es una ley que entra en vigor en una fecha conocida. Puedes lanzar log, blame, show y diff sobre un artículo, preguntar qué regía en cada país un día concreto y entregar todo el corpus a un asistente por MCP.
Cicada escucha el audio de tu reunión directamente, sin ningún bot en la sala
Cicada es una app gratuita para Mac, Windows, Linux y Android que escribe subtítulos bilingües y notas de reunión estructuradas a partir del audio del sistema, y luego te deja mantener una tecla para responder en el otro idioma con tu propia voz clonada. Ningún bot entra en la llamada.