首個互動式串流影片基準:拆成五個任務,堅決不給總分

StreamEval 10 月 15 日出現,自稱第一個針對互動式串流影片生成的基準。它評測的會話長度從 15 秒到 300 秒,計量單位是「一次會話」:一個人一邊生成一邊繼續對它說話時,系統表現如何。
這個區別就是基準存在的理由,值得講清楚。今年你讀過的影片模型對比,幾乎都是拿一段五秒或十秒的成片對著提示詞打分。串流系統做的是另一件事:在生成過程中接受新指令,在這些指令之間保持場景一致,把身分維持幾分鐘而不是幾格。
五個任務,因為「影片」指五件不同的事
基準拆成幾個任務,失敗原因各不相同。
數位人對話:給一張人像和一個人物設定,加上使用者的語音或文字輪次,評品質、音畫同步、穩定性、對話和身分。
虛擬人表演:給人像和腳本,加上即時指令,評品質、同步、穩定性、遵循和身分。與第一個任務的區別是,使用者在導演一場表演,不是在進行對話。
世界生成:給開場提示詞或影像,加上即時提示和鏡頭控制,評品質、穩定性、遵循和連續性,輸入是影像時另加參考指標。
指令編輯:餵一段即時來源影片和文字編輯指令,評品質、穩定性、遵循、編輯成功率和保持度。
參考編輯:餵即時來源影片加參考影像,用於套用、修補、移除或重置,把對話指標換成參考指標。
指標 0 到 100 分。一個任務的總分是適用指標的等權平均。然後是那句讓整套設計能被讀懂的話:任務永不合併成總分。

為什麼缺了排行榜那一欄才是重點
任何產出單一數字的基準,最後都會被朝那個數字優化。只有一個總分的影片基準,會推著團隊拿穩定性換品質、拿連續性換遵循度,比例取決於權重恰好怎麼給。沒人需要把取捨說出來。它會自己出現在分數裡。
拒絕合併,StreamEval 把取捨逼到檯面上。一個對話很強、四十秒後開始漂移的系統,會顯示成一個對話分加一個穩定性分,讀者得自己決定要哪個。
這是有代價的方法選擇。五欄表比排行榜難截圖,也難拿來寫發布文案。儲存庫是故意承擔這個代價的,理由寫在論文裡(arXiv 2610.28402)。
全開放,細到雜湊
第二個設計決定是什麼都發。基準資料、評測程式碼、協定、打分規則,全部公開。資料集同步到 Hugging Face 和 ModelScope——如果你試過在地區封鎖下下載基準,會知道這有多重要。
完整集合在 `benchmark/v1/full`。每個條件集資料夾三個檔案:`cases.jsonl` 是輸入時間軸,`oracles.jsonl` 是只給評判器看的預期結果,`manifest.json` 帶媒體路徑和 SHA-256。
三個檔案描述的是一個能重跑、能稽核的基準,而不是一個需要被信任的基準。oracle 分離意味著評判器看得到答案、模型看不到。雜湊意味著媒體不能在兩次執行之間調包。兩件事都不新鮮,兩件事在已發表的評測裡都經常缺席。
循環裡有評判模型,這是設計選擇
十個指標大多不是測出來的,是判出來的。音畫同步可以算,「品質」和「遵循」不行,只能讓模型讀輸出再打分。
這已是標準做法,帶著一個已知缺陷:評判模型有自己的偏好,針對同一個評判器調校的系統,學到的是那些偏好,而不是它本來該代理的品質。`oracles.jsonl` 的分離就是緩解手段。評判器看得到預期結果,它回答的問題更接近「這符合意圖嗎」,而不是「這好嗎」。
代價是基準測的是被評判的符合度,不是觀眾反應。作為研究工具,這個取捨是對的,因為符合度可查,觀眾反應不可查。對選供應商的產品團隊來說,這意味著遵循分高只證明系統照做了,不證明讓它做的事值得做。
跑起來不要錢
快速開始是刻意這麼設的:第一次跑不需要 API key、不需要 GPU、不用下基準。Linux 或 macOS 上 Python 3.10 以上:
git clone https://github.com/StreamEval/StreamEval.git streameval && cd streameval
python -m venv .venv && source .venv/bin/activate
python -m pip install -e ".[runtime,judge,dev]"
python -m streameval.benchmark.synthetic --out .smoke
最後一行自己生成媒體。然後:
streameval run --model streameval.models.mock:MockModel --track instruction_edit \
--case sa.v1.901.instruction_edit --benchmark .smoke/set --data .smoke/data --out .smoke/attempt
合成媒體上跑一個 mock 模型,能得到一條端到端通的路,這是交付評測工具的正確方式。你在花錢之前就發現評判器設錯了,而且是在可重現的資料上發現的。
每月更新是對這個領域的一句判斷
README 說排行榜會每月評測新模型和更新過的模型。
對一個任務穩定的基準,這個節奏很奇怪。對互動影片,這是唯一誠實的選擇。上週和前前一週之間,OpenRouter 的影片榜單組成也變了:Avatar IV 進了前十,mischief 1 掉出去,阿里在影片請求裡的份額掉了一半以上。新系統來得比年度基準能吸收的快。
每月更新的代價是可比較性。框架一變,舊分就沒有那麼有意義;框架不變,新的模型類別就得用一套早於它們的協定來衡量。儲存庫的答案是帶雜湊的版本化基準資料夾,讓你繼續評同一個 v1 集合,同時在旁邊加新任務。
數字仍然講不清的地方
StreamEval 測的東西和一個生產團隊需要的東西之間有缺口,值得說出來。
基準打身分一致性、同步、穩定性和遵循度。它不打「這段東西值不值得看」。一個系統可以把一張臉維持五分鐘、執行每條指令,產出沒人會發布的東西。品質在指標列表裡,但只是五個之一,而影片基準裡的「品質」仍然只是一個評判模型的意見。
另一個缺口是成本。300 秒的會話和 5 秒的片段是兩個不同的經濟物件,基準對延遲和每秒價格一言不發。對互動系統來說,這通常才是決定產品能不能上線的約束。
兩個缺口都不是這項工作的缺陷。第一個基準就該去測那個沒人測過的東西,互動式串流影片此前沒有。有意思的問題是三次每月更新之後排行榜長什麼樣——同樣五個任務,落在一個已經動過兩回的領域上。
相關文章
Antigravity 2.29 把代理搬進雲端 VM,語音只能放行小事
任務改在 Google 託管的雲端 VM 裡跑,蓋上筆電也不停。代價是本機的 MCP 伺服器、外掛與 skills 全部用不到,而語音只准放行不痛不癢的權限。
NVIDIA 放四顆 Cosmos 3 世界模型,還有一個快 25 倍的解碼器
四顆 16B 檢查點加上後訓練配方與程式碼,可以自己調成自家感測器配置。NVIDIA 同時明說:這些模型能否當訓練環境,還有待測量。
GitHub 熱榜四分之一是 agent skills,安裝方式卻有四套
熱榜 15 個倉庫裡有 4 個是 agent skills 合集,第 5 個附了 skill 包裝。採用沒問題,問題是同一個物件有四套互不相容的安裝方式,以及沒人處理的優先順序與信任問題。
Inkling 2 Small 拿下 86.3%,權重卻還要再等一週
Inkling 2 Small 在 SWE-Bench Pro v2 Hard 拿到 86.3%,還能自己微調別人的模型。但 Apache 2.0 權重還沒放出來,也沒給日期。