← Voltar ao blog
Aicerca de 7 min de leitura

O SeedRealtime da ByteDance pega dois frames por segundo e decide quando falar

Publicado 21 de nov. de 2026
O SeedRealtime da ByteDance pega dois frames por segundo e decide quando falar

A maior parte dos produtos em que "a IA vê e fala" é um pipeline vestido de sobretudo. O reconhecimento de fala transforma sua voz em texto, um modelo de visão descreve o frame, um modelo de linguagem decide o que dizer e um sintetizador pronuncia. Quatro modelos, três passagens de bastão e um orçamento de latência que se gasta nas emendas.

O Doubao-Seed-Realtime-1.0, da ByteDance, tenta tirar as emendas. A Volcengine descreve como um modelo de áudio e vídeo em tempo real de ponta a ponta, construído sobre a voz em tempo real 3.0 do Doubao, que já rodava em full duplex. A novidade é que o cliente pode empurrar frames de câmera ou de tela para a mesma sessão, a no máximo dois frames por segundo, e o modelo fala sobre o que vê.

Para que servem dois frames por segundo

Com dois frames por segundo você ganha consciência de cena. Entendimento de vídeo exige uma taxa bem mais alta.

Nessa taxa, o modelo percebe que há uma chaleira no fogão, que um formulário tem três campos vazios, que a pessoa na tela segura um objeto diferente do de um minuto atrás. Ele não vê um gesto terminar, não acompanha um pan rápido nem julga se uma queda foi de verdade. Quem já viu um timelapse a 2 FPS conhece a sensação: o mundo é legível e nada se mexe.

O enquadramento da Volcengine é deliberado. Frames e imagens entram como contexto de uma conversa, não como material de edição de vídeo. A documentação também cita uma busca de imagens, então um frame pode disparar uma busca visual e não só uma descrição.

A leitura honesta é que isso troca um prompt de "descreva minha tela" por um narrador ao vivo, e o teto é definido pela taxa de amostragem. Para uma ligação de suporte em que alguém aponta o celular para um roteador, 2 FPS é de sobra. Para qualquer coisa com movimento, é um slideshow.

Tem uma consequência prática para o jeito de construir. Dois frames por segundo são cerca de 500 ms entre uma imagem e outra, então o modelo nunca fica mais de meio segundo atrás da sala: rápido o bastante para comentar uma mudança, lento o bastante para perder uma ação. Os prompts devem perguntar sobre estado ("a panela ainda está no fogo?") e não sobre evento ("ele pegou a panela?"). Times que projetam para estado recebem respostas úteis; times que projetam para evento recebem palpites confiantes.

Falar sem ser chamado

O que muda o produto é a fala proativa. O modelo não espera a pergunta. Ele continua lendo a cena e a conversa, e quando tem algo a acrescentar, diz: um aviso de que o objeto se moveu, um alerta de que a página mudou, uma sugestão antes de você pedir.

É um contrato de interação diferente do de um assistente de voz. Uma palavra de ativação implica que o humano abre todo turno. Um modelo que pode abrir um turno precisa de um modelo de quando não fazer isso. A documentação entrega esses controles aos desenvolvedores: contexto de diálogo, parâmetros adicionais, campos de localização e a possibilidade de devolver resultados de function call para a sessão.

O full duplex com interrupção é a outra metade. Você pode falar por cima e o sistema corta a própria saída e volta a escutar. Isso saindo pelo alto-falante de um celular parece menos linha de comando e mais ligação.

O encanamento que os desenvolvedores realmente encostam

O endpoint é um WebSocket: wss://openspeech.bytedance.com/api/v3/realtime. As duas direções são por evento: configuração de sessão na subida, eventos de áudio e texto na descida, mais eventos para interrupção do cliente, resultados de function call e fim de sessão. Existem clientes de demo em Go 1.24, Python 3.7 e web, o que diz para quem o produto aponta: desenvolvedores de aplicação, não pesquisadores.

A superfície de configuração é grande e vale uma lida antes de prometer uma funcionalidade. Alguns exemplos:

- strict_audit vem como true por padrão, e audit_response deixa você definir o que o modelo diz quando uma pergunta do usuário aciona o filtro de segurança. Uma recusa escrita por você em vez de silêncio é uma decisão de produto de verdade. - enable_volc_websearch liga a busca web embutida, com dois tipos de serviço. O customizado é uns 350 ms mais rápido e devolve mais resultados por requisição; o global cobre mais da web e aceita tamanho de resumo ajustável e imagens das páginas de origem. - visual_search_config liga a entrada de frames à busca de imagens, por enquanto só pelo serviço global. - No TTS há filtro de texto entre colchetes para não ler as rubricas, escolha de dialeto em quatro vozes específicas e normalização de loudness. - aigc_metadata pode embutir uma marca d'água implícita com identificadores de produtor e de propagador. Pela direção regulatória na China, não é enfeite opcional.

A parte que é um produto de compliance

Dois ajustes chamam atenção porque são política escrita como parâmetro de API.

strict_audit ligado por padrão significa que a configuração segura é a que você obtém não fazendo nada, e o campo de resposta de auditoria significa que uma pergunta bloqueada ainda produz um turno utilizável em vez de vazio. Para um modelo que fala por conta própria, o silêncio depois de uma recusa é pior do que um "nisso eu não posso ajudar" escrito de antemão.

O outro é o bloco de metadados AIGC. Nome do produtor, ID de produção, nome do propagador, ID de propagação: os campos existem para que o áudio gerado seja rastreável. Num mercado em que a rotulagem de conteúdo de IA está entrando na regulação, mandar o gancho de rastreabilidade na configuração da sessão custa menos do que acrescentar depois.

Onde isso vai ser julgado

Cinco perguntas.

Latência, para a qual a Volcengine não dá número de manchete. Modelos de ponta a ponta ganham na remoção das emendas, e ainda assim precisam bater os 91 ms até o primeiro áudio que os fornecedores especializados de voz estão anunciando agora.

Câmeras sempre ligadas. Um modelo que olha sua tela e puxa assunto precisa de uma história de privacidade além de "é o seu próprio aparelho". Capturar frames a 2 FPS continua sendo capturar frames.

Fadiga da fala proativa. Todo assistente que fala primeiro é silenciado em uma semana se errar duas vezes. A régua para "devo dizer isso" é mais alta do que para "responda isso".

Custo por minuto, principalmente de frames de vídeo. Dois frames por segundo são 120 frames por minuto, e alguém paga por eles.

Gravidade do ecossistema. Documentação, demos e console são em chinês primeiro, e o produto vive dentro da Volcengine. Tudo bem para times que já estão lá, e um custo real de integração para o resto.

O que isso significa para o pipeline

Se você vem costurando modelos de fala, visão e linguagem para um produto ao vivo, essa classe de modelo tira as emendas e leva embora um pouco de controle. Você perde a possibilidade de trocar o modelo de visão e ganha uma sessão em que o modelo já viu o frame quando o usuário começa a falar.

O limite de 2 FPS é a pista. A ByteDance não está vendendo entendimento de vídeo aqui, está vendendo presença: barata o bastante para rodar o tempo todo, com opinião o bastante para falar primeiro. Se isso serve depende de o seu produto ter uma cena que valha a pena olhar nessa lentidão.

Artigos relacionados