← 返回博客
Ai预计阅读 9 分钟

首个互动式流视频基准:拆成五个任务,坚决不给总分

发布于 2026年11月11日
首个互动式流视频基准:拆成五个任务,坚决不给总分

StreamEval 10 月 15 日出现,自称第一个针对互动式流视频生成的基准。它评测的会话长度从 15 秒到 300 秒,计量单位是「一次会话」:一个人一边生成一边继续对它说话时,系统表现如何。

这个区别就是基准存在的理由,值得讲清楚。今年你读过的视频模型对比,几乎都是拿一段五秒或十秒的成片对着提示词打分。流式系统做的是另一件事:在生成过程中接受新指令,在这些指令之间保持场景一致,把身份维持几分钟而不是几帧。

五个任务,因为「视频」指五件不同的事

基准拆成几个任务,失败原因各不相同。

数字人对话:给一张人像和一个人设,加上用户的语音或文字轮次,评质量、音画同步、稳定性、对话和身份。

虚拟人表演:给人像和剧本,加上实时指令,评质量、同步、稳定性、遵循和身份。与第一个任务的区别是,用户在导演一场表演,不是在进行对话。

世界生成:给开场提示词或图像,加上实时提示和镜头控制,评质量、稳定性、遵循和连续性,输入是图像时另加参考指标。

指令编辑:喂一段实时源视频和文字编辑指令,评质量、稳定性、遵循、编辑成功率和保持度。

参考编辑:喂实时源视频加参考图像,用于套用、修补、移除或重置,把对话指标换成参考指标。

指标 0 到 100 分。一个任务的总分是适用指标的等权平均。然后是那句让整套设计能被读懂的话:任务永不合并成总分。

五张空白哑光卡竖成一排,高度各不相同,摆在深色台面上。

为什么缺了排行榜那一列才是重点

任何产出单一数字的基准,最后都会被朝那个数字优化。只有一个总分的视频基准,会推着团队拿稳定性换质量、拿连续性换遵循度,比例取决于权重恰好怎么给。没人需要把取舍说出来。它会自己出现在分数里。

拒绝合并,StreamEval 把取舍逼到台面上。一个对话很强、四十秒后开始漂移的系统,会显示成一个对话分加一个稳定性分,读者得自己决定要哪个。

这是有代价的方法选择。五列表比排行榜难截图,也难拿来写发布文案。仓库是故意承担这个代价的,理由写在论文里(arXiv 2610.28402)。

全开放,细到哈希

第二个设计决定是什么都发。基准数据、评测代码、协议、打分规则,全部公开。数据集同步到 Hugging Face 和 ModelScope——如果你试过在地区封锁下下载基准,会知道这有多重要。

完整集合在 `benchmark/v1/full`。每个条件集文件夹三个文件:`cases.jsonl` 是输入时间线,`oracles.jsonl` 是只给评判器看的预期结果,`manifest.json` 带媒体路径和 SHA-256。

三个文件描述的是一个能重跑、能审计的基准,而不是一个需要被信任的基准。oracle 分离意味着评判器看得到答案、模型看不到。哈希意味着媒体不能在两次运行之间调包。两件事都不新鲜,两件事在已发表的评测里都经常缺席。

循环里有评判模型,这是设计选择

十个指标大多不是测出来的,是判出来的。音画同步可以算,「质量」和「遵循」不行,只能让模型读输出再打分。

这已是标准做法,带着一个已知缺陷:评判模型有自己的偏好,针对同一个评判器调优的系统,学到的是那些偏好,而不是它本该代理的质量。`oracles.jsonl` 的分离就是缓解手段。评判器看得到预期结果,它回答的问题更接近「这符合意图吗」,而不是「这好吗」。

代价是基准测的是被评判的符合度,不是观众反应。作为研究工具,这个取舍是对的,因为符合度可查,观众反应不可查。对选供应商的产品团队来说,这意味着遵循分高只证明系统照做了,不证明让它做的事值得做。

跑起来不要钱

快速开始是刻意这么设的:第一次跑不需要 API key、不需要 GPU、不用下基准。Linux 或 macOS 上 Python 3.10 以上:

git clone https://github.com/StreamEval/StreamEval.git streameval && cd streameval
python -m venv .venv && source .venv/bin/activate
python -m pip install -e ".[runtime,judge,dev]"
python -m streameval.benchmark.synthetic --out .smoke

最后一行自己生成媒体。然后:

streameval run --model streameval.models.mock:MockModel --track instruction_edit \
  --case sa.v1.901.instruction_edit --benchmark .smoke/set --data .smoke/data --out .smoke/attempt

合成媒体上跑一个 mock 模型,能得到一条端到端通的路,这是交付评测工具的正确方式。你在花钱之前就发现评判器配错了,而且是在可复现的数据上发现的。

月度更新是对这个领域的一句判断

README 说排行榜会每月评测新模型和更新过的模型。

对一个任务稳定的基准,这个节奏很奇怪。对互动视频,这是唯一诚实的选择。上周和前一周之间,OpenRouter 的视频榜单构成就变了:Avatar IV 进了前十,mischief 1 掉出去,阿里在视频请求里的份额掉了一半以上。新系统来得比年度基准能吸收的快。

月度更新的代价是可比较性。框架一变,旧分就没有那么有意义;框架不变,新的模型类别就得用一套早于它们的协议来衡量。仓库的答案是带哈希的版本化基准文件夹,让你继续评同一个 v1 集合,同时在旁边加新任务。

数字仍然讲不清的地方

StreamEval 测的东西和一个生产团队需要的东西之间有缺口,值得说出来。

基准打身份一致性、同步、稳定性和遵循度。它不打「这段东西值不值得看」。一个系统可以把一张脸维持五分钟、执行每条指令,产出没人会发布的东西。质量在指标列表里,但只是五个之一,而视频基准里的「质量」仍然只是一个评判模型的意见。

另一个缺口是成本。300 秒的会话和 5 秒的片段是两个不同的经济对象,基准对延迟和每秒价格一言不发。对互动系统来说,这通常才是决定产品能不能上线的约束。

两个缺口都不是这项工作的缺陷。第一个基准就该去测那个没人测过的东西,互动式流视频此前没有。有意思的问题是三次月度更新之后排行榜长什么样——同样五个任务,落在一个已经动过两回的领域上。

相关文章