ByteDance の SeedRealtime は毎秒 2 フレームだけ取り、いつ話すかを自分で決める

「AI が見て話せる」と言われる製品のほとんどは、トレンチコートを着たパイプラインだ。音声認識が声をテキストにし、視覚モデルがフレームを説明し、言語モデルが何を言うかを決め、音声合成がそれを読み上げる。4 つのモデル、3 回の受け渡し、そして遅延の予算はその継ぎ目で使い切られる。
ByteDance の Doubao-Seed-Realtime-1.0 は、その継ぎ目を消そうとしている。Volcengine の説明はこうだ。Doubao のリアルタイム音声 3.0 を土台にしたエンドツーエンドのリアルタイム音声・映像モデルで、3.0 の時点ですでに全二重で動いていた。新しいのは、クライアントがカメラや画面のフレームを同じセッションに流し込めるようになった点だ。毎秒 2 フレームまで。モデルは見えたものについて話す。
毎秒 2 フレームは何のためか
毎秒 2 フレームで得られるのは、状況の把握だ。映像理解にはもっと高いレートが要る。
このレートだと、コンロにケトルが載っている、フォームに空欄が 3 つある、画面の前の人が 1 分前とは違う物を持っている、といったことは分かる。ジェスチャーが終わる瞬間は見えないし、速いパンにも追いつけないし、転倒が本当に転倒だったのかも判断できない。2 FPS のタイムラプスを見たことがある人なら分かるはずだ。世界は読めるのに、何も動かない。
Volcengine の位置づけは意図的だ。映像フレームと画像は、動画編集の素材ではなく、会話のコンテキストとして入ってくる。ドキュメントは画像検索の機能にも触れている。つまり 1 フレームが、説明ではなく視覚検索を起動できる。
正直に読めば、これは「私の画面を説明して」というプロンプトを、ずっと横にいるナレーターに置き換えたものだ。天井はサンプリングレートで決まる。ルーターにスマホを向けるサポート通話なら 2 FPS で十分。動きのある場面ではスライドショーになる。
作り方にも実務的な影響がある。毎秒 2 フレームはフレーム間がおよそ 500 ms ということで、モデルが部屋より半秒以上遅れることはない。変化に言及するには十分速く、動作そのものを外すには十分遅い。だからプロンプトは状態を聞くべきで(「鍋は火にかかったまま?」)、イベントを聞くべきではない(「持ち上げた?」)。状態で設計したチームは使える答えを得て、イベントで設計したチームは自信ありげな推測を得る。
聞かれなくても話す
製品を変えるのは能動的な発話だ。モデルは質問を待たない。情景と会話を読み続け、付け足すことがあれば言う。物が動いたという注意、ページが変わったという警告、聞く前に出す提案。
これは音声アシスタントとは別の対話契約だ。ウェイクワードは、毎ターンを人間が始めることを前提にしている。ターンを開けるモデルには、「いつ言わないか」の判断が要る。ドキュメントはその制御を開発者に渡している。対話コンテキスト、追加パラメータ、位置フィールド、そして function call の結果をセッションに戻す仕組み。
全二重と割り込みがもう半分だ。かぶせて話せば、システムは自分の出力を止めて聞き手に戻る。これをスマホのスピーカーから流すと、コマンドラインというより通話に近い。
開発者が実際に触る配管
エンドポイントは wss://openspeech.bytedance.com/api/v3/realtime の WebSocket。双方向ともイベント駆動で、上りはセッション設定、下りは音声とテキストのイベント、加えてクライアントの割り込み、function call の結果、セッション終了のイベントがある。デモクライアントは Go 1.24、Python 3.7、web の 3 つ。対象読者が研究者ではなくアプリ開発者だということが、これで分かる。
設定項目は多く、機能を約束する前に一読する価値がある。いくつか例を挙げる。
- strict_audit は既定で true。audit_response では、ユーザーのクエリが安全フィルタに触れたときモデルが何を言うかを定義できる。沈黙ではなく独自の拒否文を返すのは、れっきとした製品判断だ。 - enable_volc_websearch は組み込みのウェブ検索を有効にする。サービスは 2 種類。カスタムは約 350 ms 速く、1 リクエストあたりの結果も多い。グローバルはカバー範囲が広く、要約の長さを調整でき、ソースページの画像も返す。 - visual_search_config はフレーム入力を画像検索につなぐ。現時点ではグローバルのみ。 - TTS では、角括弧で囲んだテキストを読み上げない設定(舞台指示を声にしない)、4 つの特定ボイスでの方言選択、ラウドネス正規化が使える。 - aigc_metadata は生産者と伝播者の識別子を含む暗黙のウォーターマークを埋め込める。中国の規制の方向を考えれば、飾りではない。
コンプライアンス製品でもある部分
2 つの設定が目を引く。どちらもポリシーを API パラメータとして書いたものだ。
strict_audit が既定で有効ということは、何もしないで得られる設定が安全側だということ。監査レスポンスのフィールドは、ブロックされたクエリでも使えるターンが返ることを意味する。無音にはならない。自分から話すモデルにとって、拒否のあとの無音は、台本どおりの「それはお手伝いできません」より悪い。
もう 1 つが AIGC メタデータだ。生産者名、プロダクション ID、伝播者名、伝播 ID。生成された音声を追跡できるようにするためのフィールドだ。AI コンテンツの表示が規制に書き込まれていく市場では、追跡のフックをセッション設定に載せて出すほうが、後から付けるより安い。
どこで評価が決まるか
問いは 5 つ。
レイテンシ。Volcengine は看板になる数字を出していない。エンドツーエンドは継ぎ目を消す点で有利だが、専用の音声ベンダーが今アピールしている初回音声 91 ms は超える必要がある。
常時オンのカメラ。画面を見て自分から話すモデルには、「自分のデバイスだから」以外のプライバシーの説明が要る。2 FPS のキャプチャは、やはりキャプチャだ。
能動発話の疲労。先に話すアシスタントは、2 回間違えれば 1 週間でミュートされる。「これを言うべきか」の基準は「これに答える」より高い。
分あたりのコスト、とくに映像フレーム。毎秒 2 フレームは 1 分で 120 フレーム、誰かがその代金を払う。
エコシステムの重力。ドキュメントもデモもコンソールも中国語優先で、製品は Volcengine の中にある。すでにそこにいるチームには問題ないが、それ以外には実のある統合コストだ。
パイプラインにとって何を意味するか
ライブ製品のために音声・視覚・言語のモデルをつないできたなら、この種のモデルは継ぎ目を取り除き、同時にいくつかの制御を奪う。視覚モデルを差し替える自由は失われ、代わりに、ユーザーが話し始めた時点でモデルがすでにフレームを見ているセッションを得る。
2 FPS という上限が答え合わせだ。ByteDance がここで売っているのは映像理解ではなく「そこにいること」だ。常時動かせるほど安く、先に口を開くほど主張がある。それが役に立つかは、あなたの製品にそのくらいの速度で見る価値のある情景があるかどうかで決まる。
関連記事
Pinky は agent に自分のスマホを操作させる。送信ボタンは、あなたが許可を押すまで押さえたまま
Pinky はどんな MCP agent でも本物の iPhone や Android につなぎ、承認をプロンプトではなく自前のゲートウェイで強制する。銀行アプリは見えず、パスワード欄は通行止め、Android 13 では agent に隠れた2枚目の画面が渡される。
サーバー1台、AI配信者1人:夜のライブ配信を動かすコードの中身
open-yoki は、毎晩 Binance Square で配信する AI ホストの本番コードで、人格・声・お金に関わる機能は取り除かれています。headless Chrome がフレームを描き、ffmpeg が RTMP を押し、Markdown フォルダが彼女の気分と投稿内容を決めます。
SoduWork の依頼は、チャットが止まったときではなく、依頼した人が承認したときに終わる
SoduWork はセルフホストのワークベンチだ。依頼には着手前に受け入れ基準が書かれ、納品は別の harness がレビューし、最後は人が承認する。うまくいった進め方はプラグインとして保存され、チームの他の人がそのまま実行できる。
世界の法律を git に入れた人がいる。だから法令も blame できる
global-law は各国の法令を git リポジトリとして持ち、1 つの commit が既知の日に効力を持った 1 つの法律にあたる。条文に対して log、blame、show、diff を実行でき、ある日の各国の施行状況を調べ、コーパス全体を MCP 経由でアシスタントに渡せる。