← Torna al blog
Aicirca 6 min di lettura

SeedRealtime di ByteDance prende due frame al secondo e decide quando parlare

Pubblicato 21 nov 2026
SeedRealtime di ByteDance prende due frame al secondo e decide quando parlare

La maggior parte dei prodotti in cui «l'IA vede e parla» è una pipeline travestita da impermeabile. Il riconoscimento vocale trasforma la tua voce in testo, un modello di visione descrive il frame, un modello linguistico decide cosa dire, un sintetizzatore lo pronuncia. Quattro modelli, tre passaggi di consegne e un budget di latenza che si spende nelle giunture.

Doubao-Seed-Realtime-1.0, di ByteDance, prova a togliere le giunture. Volcengine lo descrive come un modello audio-video in tempo reale end-to-end, costruito sulla voce in tempo reale 3.0 di Doubao, che girava già in full duplex. La novità è che il client può spingere frame di camera o di schermo nella stessa sessione, a non più di due frame al secondo, e il modello parla di quello che vede.

A cosa servono due frame al secondo

A due frame al secondo ottieni consapevolezza della scena. La comprensione video richiede una frequenza molto più alta.

A quella frequenza il modello capisce che sul fornello c'è un bollitore, che un modulo ha tre campi vuoti, che la persona davanti allo schermo tiene in mano un oggetto diverso da un minuto prima. Non vede un gesto finire, non segue una panoramica veloce, non giudica se una caduta era vera. Chi ha guardato un timelapse a 2 FPS conosce la sensazione: il mondo è leggibile e niente si muove.

L'inquadratura di Volcengine è voluta. I frame e le immagini entrano come contesto di una conversazione, non come materiale da montaggio. La documentazione cita anche una ricerca di immagini, quindi un frame può far partire una ricerca visiva e non solo una descrizione.

Lettura onesta: questo sostituisce un prompt tipo «descrivimi lo schermo» con un narratore in diretta, e il tetto lo fissa la frequenza di campionamento. Per una chiamata di supporto in cui qualcuno punta il telefono su un router, 2 FPS bastano e avanzano. Per qualsiasi cosa con del movimento, è una presentazione di diapositive.

C'è una conseguenza pratica su come lo costruisci. Due frame al secondo sono circa 500 ms tra un'immagine e l'altra, quindi il modello non è mai più di mezzo secondo indietro rispetto alla stanza: abbastanza veloce per commentare un cambiamento, abbastanza lento per mancare un'azione. I prompt dovrebbero chiedere stati («la padella è ancora sul fuoco?») e non eventi («l'ha presa in mano?»). I team che progettano per gli stati ottengono risposte utili, quelli che progettano per gli eventi ottengono ipotesi sicure di sé.

Parlare senza che glielo si chieda

La cosa che cambia il prodotto è il parlato proattivo. Il modello non aspetta una domanda. Continua a leggere la scena e la conversazione, e quando ha qualcosa da aggiungere lo dice: un promemoria che l'oggetto si è spostato, un avviso che la pagina è cambiata, un suggerimento prima che tu lo chieda.

È un contratto di interazione diverso da un assistente vocale. Una wake word implica che l'umano apra ogni turno. Un modello che può aprire un turno ha bisogno di un modello di quando non farlo. La documentazione lascia ai developer i controlli per questo: contesto di dialogo, parametri aggiuntivi, campi di posizione e la possibilità di rimandare nella sessione i risultati delle function call.

Il full duplex con interruzione è l'altra metà. Puoi parlarci sopra, il sistema ferma il proprio output e torna in ascolto. Fatto passare dallo speaker di un telefono, sembra meno una riga di comando e più una chiamata.

Le tubature che i developer toccano davvero

L'endpoint è un WebSocket: wss://openspeech.bytedance.com/api/v3/realtime. Entrambe le direzioni sono a eventi: configurazione di sessione in salita, eventi audio e testo in discesa, più eventi per l'interruzione del client, i risultati delle function call e la fine della sessione. Ci sono client demo per Go 1.24, Python 3.7 e web, il che dice a chi punta: a sviluppatori di applicazioni, non a ricercatori.

La superficie di configurazione è ampia e vale una lettura prima di promettere una funzionalità. Qualche esempio:

- strict_audit vale true di default, e audit_response ti fa definire cosa dice il modello quando una richiesta dell'utente fa scattare il filtro di sicurezza. Un rifiuto scritto da te invece del silenzio è una vera decisione di prodotto. - enable_volc_websearch attiva la ricerca web integrata, con due tipi di servizio. Quello custom è circa 350 ms più veloce e restituisce più risultati per richiesta; quello globale copre più web e supporta lunghezza del riassunto regolabile e immagini dalle pagine di origine. - visual_search_config collega l'input dei frame alla ricerca di immagini, per ora solo tramite il servizio globale. - Sul TTS: filtro del testo tra parentesi quadre per non leggere le didascalie, scelta del dialetto su quattro voci specifiche, normalizzazione della loudness. - aigc_metadata può incorporare un watermark implicito con gli identificativi di produttore e propagatore. Vista la direzione normativa in Cina, non è decorazione opzionale.

La parte che è un prodotto di compliance

Due impostazioni spiccano, perché sono politica scritta come parametri API.

strict_audit attivo di default significa che la configurazione sicura è quella che ottieni non facendo niente, e il campo di risposta di audit significa che una richiesta bloccata produce comunque un turno usabile invece del vuoto. Per un modello che parla di sua iniziativa, il silenzio dopo un rifiuto è peggio di un «su questo non posso aiutarti» scritto prima.

L'altro è il blocco di metadati AIGC. Nome del produttore, ID di produzione, nome del propagatore, ID di propagazione: i campi esistono perché l'audio generato sia tracciabile. In un mercato dove l'etichettatura dei contenuti IA sta entrando nella normativa, spedire l'aggancio di tracciabilità nella configurazione di sessione costa meno che aggiungerlo dopo.

Dove verrà giudicato

Cinque domande.

La latenza, su cui Volcengine non mette un numero da titolo. I modelli end-to-end vincono sulla rimozione delle giunture, e devono comunque battere i 91 ms al primo audio che i vendor vocali specializzati tirano fuori adesso.

Le camere sempre accese. Un modello che guarda il tuo schermo e prende la parola ha bisogno di una storia sulla privacy che vada oltre «è il tuo dispositivo». Catturare frame a 2 FPS resta catturare frame.

La stanchezza del parlato proattivo. Ogni assistente che parla per primo viene silenziato entro una settimana se sbaglia due volte. L'asticella per «dovrei dirlo» è più alta di quella per «rispondi a questo».

Il costo al minuto, soprattutto per i frame video. Due frame al secondo sono 120 frame al minuto, e qualcuno li paga.

La gravità dell'ecosistema. Documentazione, demo e console sono in cinese prima che in altro, e il prodotto vive dentro Volcengine. Va bene per i team che sono già lì, è un costo di integrazione reale per tutti gli altri.

Cosa significa per la pipeline

Se hai passato il tempo a cucire insieme modelli vocali, di visione e linguistici per un prodotto live, questa classe di modelli toglie le giunture e porta via un po' di controllo. Perdi la possibilità di cambiare il modello di visione e guadagni una sessione in cui il modello ha già visto il frame quando l'utente comincia a parlare.

Il limite a 2 FPS è l'indizio. ByteDance qui non vende comprensione video, vende presenza: abbastanza economica da girare sempre, abbastanza con opinioni da parlare per prima. Se serva dipende da se il tuo prodotto ha una scena che vale la pena guardare a quella lentezza.

Articoli correlati