ByteDance 的 SeedRealtime 每秒只取两帧,再自己决定什么时候开口

大多数"AI 能看也能说"的产品,其实是一条流水线穿了件风衣。语音识别先把你的话转成文字,视觉模型看一眼这一帧、写一段描述,语言模型读着这两样东西决定该说什么,最后语音合成把答案念出来。四个模型,三次交接,本来就紧的延迟预算,一大半花在这些接缝上。
ByteDance 的 Doubao-Seed-Realtime-1.0 想把接缝去掉。火山引擎的说法是,这是一个端到端的实时音视频模型,底座是已经能跑全双工的豆包实时语音 3.0。新的地方在于:客户端可以把摄像头或屏幕的帧推进同一个会话,帧率不超过每秒两帧,模型会就它看到的东西开口说话。
每秒两帧是用来干什么的
每秒两帧,拿到的是场景感知。真正的视频理解需要高得多的帧率。
在这个采样率下,模型能看出灶上坐着一只水壶、一张表有三个格子还空着、屏幕前的人手里拿的东西和一分钟前不是同一件。它看不出一个手势是怎么收尾的,跟不上一次快速摇镜,也判断不了一次摔倒是真摔还是演的。看过 2 FPS 延时摄影的人都知道那种感觉:世界看得清清楚楚,但什么都不动。
火山引擎这个定位是刻意的。视频帧和图片是作为对话的上下文进来的,不是视频剪辑的素材。文档里还提到图像搜索能力,也就是说,一帧可以触发一次视觉检索,而不只是换来一段文字描述。
说实话,这东西就是把"描述一下我的屏幕"这类提示词,换成了一个一直在旁边的旁白,天花板由采样率定死。客服电话里有人把手机对准路由器,2 FPS 完全够用。换成任何带运动的场景,它就是幻灯片。
这对你怎么用它有很实际的影响。每秒两帧意味着帧与帧之间大约隔 500 毫秒,模型落后现场永远不会超过半秒:快到能对一次变化发表评论,慢到会漏掉一个动作本身。所以提示词应该问状态("锅还在火上吗"),不要问事件("他刚才把它拿起来了吗")。按状态设计的产品能拿到有用的答案,按事件设计的只能拿到自信的猜测。
没人问也开口
真正改变产品形态的是主动说话。模型不等你提问。它一直在读画面、也在读对话,有要补充的就直接说:提醒你东西被挪了,警告页面变了,在你开口之前先递一个建议过来。
这跟语音助手是两种交互契约。唤醒词意味着每一轮都由人发起。一个能主动开一轮的模型,需要一套"什么时候别说"的判断。文档把这部分控制权交给开发者:对话上下文、附加参数、位置字段,以及把 function call 的结果送回会话的能力。
全双工加打断是另一半。你可以直接盖过它说话,系统会停掉自己的输出,回到聆听状态。这套东西从手机扬声器里出来,不太像命令行,更像一通电话。
开发者真正会碰到的管道
端点是 WebSocket:wss://openspeech.bytedance.com/api/v3/realtime。两个方向都走事件:上行是会话配置,下行是音频和文本事件,另外还有客户端打断、function call 结果和会话结束这几种事件。demo 客户端给了 Go 1.24、Python 3.7 和 web 三份,从这儿就能看出,目标用户是应用开发者,不是研究员。
配置面很大,在跟人承诺某个功能之前,值得先完整读一遍。举几个例子:
- strict_audit 默认是 true,audit_response 让你定义用户提问触发安全过滤时模型说什么。用一句自定义的拒答代替沉默,这是一个真实的产品决策。 - enable_volc_websearch 打开内置联网搜索,有两种服务类型。自定义那种快大约 350 ms,单次请求返回的结果更多;全局那种覆盖的网页更广,支持可调长度的摘要,还能带出来源页面上的图片。 - visual_search_config 把帧输入接到图像搜索上,目前只走全局服务。 - TTS 的选项包括过滤方括号里的文字(免得把舞台提示也念出来)、四个特定音色上的方言选择,以及响度归一化。 - aigc_metadata 可以嵌入隐式水印,带上生产者标识和传播者标识。考虑到国内监管的方向,这不是可选的装饰。
合规产品的那一半
有两个设置值得单独拎出来说,因为它们是把政策写成了 API 参数。
strict_audit 默认开启,意思是"什么都不做"得到的配置就是安全配置;审核回复这个字段的意思是,一个被拦下的提问仍然能产出一个可用的回合,而不是一片死寂。对一个会主动开口的模型来说,拒答之后没有声音,比一句写好的"这个我帮不了"更糟。
另一块是 AIGC 元数据。生产者名称、生产 ID、传播者名称、传播 ID:这些字段存在,是为了让生成出来的音频可被追溯。在一个已经把 AI 内容标识写进监管的市场里,把可追溯的钩子放进会话配置,比事后回来补要便宜得多。
会被检验的地方
五个问题。
延迟,火山引擎没给一个头条数字。端到端模型在去掉接缝这件事上占优,但它仍然得压过专用语音厂商现在挂出来的 91 ms 首包。
常开的摄像头。一个盯着你屏幕、还会主动开口的模型,需要一个比"这是你自己的设备"更完整的隐私说法。2 FPS 的取帧,仍然是取帧。
主动说话的疲劳。每个先开口的助手,只要错两次,一周之内就会被静音。"该不该说"的门槛,比"回答这个"更高。
每分钟成本,尤其是视频帧那一块。每秒两帧就是一分钟 120 帧,总得有人付这笔钱。
生态引力。文档、demo、控制台都是中文优先,产品本身长在火山引擎里。对已经在里面的团队没问题,对其他人是实打实的接入成本。
对流水线意味着什么
如果你一直在为某个实时产品把语音、视觉、语言三个模型缝在一起,这类模型会替你把接缝去掉,同时也拿走一部分控制权。你失去了替换视觉模型的自由,换来一个会话:用户开口的时候,模型已经看过那一帧了。
2 FPS 这个上限就是线索。ByteDance 在这儿卖的不是视频理解,是"在场":便宜到可以一直开着,有主见到会先开口。它到底有没有用,取决于你的产品里有没有一个值得用这么慢的速度盯着看的场景。
相关文章
Cicada 直接听会议的系统音频,会议室里没有机器人
Cicada 是 Mac、Windows、Linux 和 Android 上的免费应用,从系统音频里写出双语字幕和结构化会议笔记。按住一个键,你能用自己克隆出来的声音,把回复用另一种语言说出去。整个过程里没有机器人加入通话。
一台 server、一个 AI 主播:夜间直播背后的代码
open-yoki 是一个每晚在 Binance Square 直播的 AI 主播的生产代码,人格、声音和跟钱有关的功能都拿掉了。headless Chrome 画帧,ffmpeg 推 RTMP,一个 Markdown 文件夹决定她的情绪和要发的东西。
Pinky 让 agent 开你的手机,并且一直按住发送键,直到你点允许
Pinky 把任意 MCP agent 接到真的 iPhone 或 Android 手机上,审批放在自己的网关里执行,不写成 prompt。银行类应用对 agent 不可见,密码框碰不到,Android 13 上 agent 还能拿到一块隐藏的第二屏。
有人把全世界的法律放进了 git,于是你可以 blame 一条法条
global-law 把每个国家的法令存成一个 git 仓库,每次 commit 就是一部在某个已知日期生效的法律。你可以对一条法规跑 log、blame、show 和 diff,查某一天各国在施行什么法,并通过 MCP 把整份语料交给助手。