O SeedRealtime da ByteDance pega dois frames por segundo e decide quando falar

A maior parte dos produtos em que "a IA vê e fala" é um pipeline vestido de sobretudo. O reconhecimento de fala transforma sua voz em texto, um modelo de visão descreve o frame, um modelo de linguagem decide o que dizer e um sintetizador pronuncia. Quatro modelos, três passagens de bastão e um orçamento de latência que se gasta nas emendas.
O Doubao-Seed-Realtime-1.0, da ByteDance, tenta tirar as emendas. A Volcengine descreve como um modelo de áudio e vídeo em tempo real de ponta a ponta, construído sobre a voz em tempo real 3.0 do Doubao, que já rodava em full duplex. A novidade é que o cliente pode empurrar frames de câmera ou de tela para a mesma sessão, a no máximo dois frames por segundo, e o modelo fala sobre o que vê.
Para que servem dois frames por segundo
Com dois frames por segundo você ganha consciência de cena. Entendimento de vídeo exige uma taxa bem mais alta.
Nessa taxa, o modelo percebe que há uma chaleira no fogão, que um formulário tem três campos vazios, que a pessoa na tela segura um objeto diferente do de um minuto atrás. Ele não vê um gesto terminar, não acompanha um pan rápido nem julga se uma queda foi de verdade. Quem já viu um timelapse a 2 FPS conhece a sensação: o mundo é legível e nada se mexe.
O enquadramento da Volcengine é deliberado. Frames e imagens entram como contexto de uma conversa, não como material de edição de vídeo. A documentação também cita uma busca de imagens, então um frame pode disparar uma busca visual e não só uma descrição.
A leitura honesta é que isso troca um prompt de "descreva minha tela" por um narrador ao vivo, e o teto é definido pela taxa de amostragem. Para uma ligação de suporte em que alguém aponta o celular para um roteador, 2 FPS é de sobra. Para qualquer coisa com movimento, é um slideshow.
Tem uma consequência prática para o jeito de construir. Dois frames por segundo são cerca de 500 ms entre uma imagem e outra, então o modelo nunca fica mais de meio segundo atrás da sala: rápido o bastante para comentar uma mudança, lento o bastante para perder uma ação. Os prompts devem perguntar sobre estado ("a panela ainda está no fogo?") e não sobre evento ("ele pegou a panela?"). Times que projetam para estado recebem respostas úteis; times que projetam para evento recebem palpites confiantes.
Falar sem ser chamado
O que muda o produto é a fala proativa. O modelo não espera a pergunta. Ele continua lendo a cena e a conversa, e quando tem algo a acrescentar, diz: um aviso de que o objeto se moveu, um alerta de que a página mudou, uma sugestão antes de você pedir.
É um contrato de interação diferente do de um assistente de voz. Uma palavra de ativação implica que o humano abre todo turno. Um modelo que pode abrir um turno precisa de um modelo de quando não fazer isso. A documentação entrega esses controles aos desenvolvedores: contexto de diálogo, parâmetros adicionais, campos de localização e a possibilidade de devolver resultados de function call para a sessão.
O full duplex com interrupção é a outra metade. Você pode falar por cima e o sistema corta a própria saída e volta a escutar. Isso saindo pelo alto-falante de um celular parece menos linha de comando e mais ligação.
O encanamento que os desenvolvedores realmente encostam
O endpoint é um WebSocket: wss://openspeech.bytedance.com/api/v3/realtime. As duas direções são por evento: configuração de sessão na subida, eventos de áudio e texto na descida, mais eventos para interrupção do cliente, resultados de function call e fim de sessão. Existem clientes de demo em Go 1.24, Python 3.7 e web, o que diz para quem o produto aponta: desenvolvedores de aplicação, não pesquisadores.
A superfície de configuração é grande e vale uma lida antes de prometer uma funcionalidade. Alguns exemplos:
- strict_audit vem como true por padrão, e audit_response deixa você definir o que o modelo diz quando uma pergunta do usuário aciona o filtro de segurança. Uma recusa escrita por você em vez de silêncio é uma decisão de produto de verdade. - enable_volc_websearch liga a busca web embutida, com dois tipos de serviço. O customizado é uns 350 ms mais rápido e devolve mais resultados por requisição; o global cobre mais da web e aceita tamanho de resumo ajustável e imagens das páginas de origem. - visual_search_config liga a entrada de frames à busca de imagens, por enquanto só pelo serviço global. - No TTS há filtro de texto entre colchetes para não ler as rubricas, escolha de dialeto em quatro vozes específicas e normalização de loudness. - aigc_metadata pode embutir uma marca d'água implícita com identificadores de produtor e de propagador. Pela direção regulatória na China, não é enfeite opcional.
A parte que é um produto de compliance
Dois ajustes chamam atenção porque são política escrita como parâmetro de API.
strict_audit ligado por padrão significa que a configuração segura é a que você obtém não fazendo nada, e o campo de resposta de auditoria significa que uma pergunta bloqueada ainda produz um turno utilizável em vez de vazio. Para um modelo que fala por conta própria, o silêncio depois de uma recusa é pior do que um "nisso eu não posso ajudar" escrito de antemão.
O outro é o bloco de metadados AIGC. Nome do produtor, ID de produção, nome do propagador, ID de propagação: os campos existem para que o áudio gerado seja rastreável. Num mercado em que a rotulagem de conteúdo de IA está entrando na regulação, mandar o gancho de rastreabilidade na configuração da sessão custa menos do que acrescentar depois.
Onde isso vai ser julgado
Cinco perguntas.
Latência, para a qual a Volcengine não dá número de manchete. Modelos de ponta a ponta ganham na remoção das emendas, e ainda assim precisam bater os 91 ms até o primeiro áudio que os fornecedores especializados de voz estão anunciando agora.
Câmeras sempre ligadas. Um modelo que olha sua tela e puxa assunto precisa de uma história de privacidade além de "é o seu próprio aparelho". Capturar frames a 2 FPS continua sendo capturar frames.
Fadiga da fala proativa. Todo assistente que fala primeiro é silenciado em uma semana se errar duas vezes. A régua para "devo dizer isso" é mais alta do que para "responda isso".
Custo por minuto, principalmente de frames de vídeo. Dois frames por segundo são 120 frames por minuto, e alguém paga por eles.
Gravidade do ecossistema. Documentação, demos e console são em chinês primeiro, e o produto vive dentro da Volcengine. Tudo bem para times que já estão lá, e um custo real de integração para o resto.
O que isso significa para o pipeline
Se você vem costurando modelos de fala, visão e linguagem para um produto ao vivo, essa classe de modelo tira as emendas e leva embora um pouco de controle. Você perde a possibilidade de trocar o modelo de visão e ganha uma sessão em que o modelo já viu o frame quando o usuário começa a falar.
O limite de 2 FPS é a pista. A ByteDance não está vendendo entendimento de vídeo aqui, está vendendo presença: barata o bastante para rodar o tempo todo, com opinião o bastante para falar primeiro. Se isso serve depende de o seu produto ter uma cena que valha a pena olhar nessa lentidão.
Artigos relacionados
Um servidor, uma streamer de IA: dentro do código que roda uma live noturna
open-yoki é o código de produção de uma host de IA que transmite toda noite no Binance Square, sem persona, voz ou qualquer recurso que toque dinheiro. headless Chrome desenha o frame, ffmpeg empurra RTMP e uma pasta de Markdown decide o humor e o que ela publica.
O Pinky deixa um agent dirigir seu celular e segura o botão Enviar até você clicar em Permitir
O Pinky conecta qualquer agent MCP a um iPhone ou Android de verdade e aplica a aprovação no próprio gateway, não num prompt. Apps de banco são invisíveis, campos de senha estão fora de alcance e, no Android 13, o agent ganha uma segunda tela escondida.
O Cicada escuta o áudio da sua reunião direto, sem bot na sala
O Cicada é um app gratuito para Mac, Windows, Linux e Android que escreve legendas bilíngues e notas de reunião estruturadas a partir do áudio do sistema, e depois deixa você segurar uma tecla para responder no outro idioma com sua própria voz clonada. Nenhum bot entra na chamada.
No SoduWork, um pedido termina quando quem pediu assina, não quando o chat para
SoduWork é um workbench auto-hospedado em que cada pedido carrega critérios de aceite escritos antes do trabalho começar, um segundo harness revisa a entrega e uma pessoa assina. Depois, o método vira um plugin que o resto do time pode executar.