← 返回部落格
Ai預計閱讀 9 分鐘

首個互動式串流影片基準:拆成五個任務,堅決不給總分

發布於 2026年11月11日
首個互動式串流影片基準:拆成五個任務,堅決不給總分

StreamEval 10 月 15 日出現,自稱第一個針對互動式串流影片生成的基準。它評測的會話長度從 15 秒到 300 秒,計量單位是「一次會話」:一個人一邊生成一邊繼續對它說話時,系統表現如何。

這個區別就是基準存在的理由,值得講清楚。今年你讀過的影片模型對比,幾乎都是拿一段五秒或十秒的成片對著提示詞打分。串流系統做的是另一件事:在生成過程中接受新指令,在這些指令之間保持場景一致,把身分維持幾分鐘而不是幾格。

五個任務,因為「影片」指五件不同的事

基準拆成幾個任務,失敗原因各不相同。

數位人對話:給一張人像和一個人物設定,加上使用者的語音或文字輪次,評品質、音畫同步、穩定性、對話和身分。

虛擬人表演:給人像和腳本,加上即時指令,評品質、同步、穩定性、遵循和身分。與第一個任務的區別是,使用者在導演一場表演,不是在進行對話。

世界生成:給開場提示詞或影像,加上即時提示和鏡頭控制,評品質、穩定性、遵循和連續性,輸入是影像時另加參考指標。

指令編輯:餵一段即時來源影片和文字編輯指令,評品質、穩定性、遵循、編輯成功率和保持度。

參考編輯:餵即時來源影片加參考影像,用於套用、修補、移除或重置,把對話指標換成參考指標。

指標 0 到 100 分。一個任務的總分是適用指標的等權平均。然後是那句讓整套設計能被讀懂的話:任務永不合併成總分。

五張空白霧面卡豎成一排,高度各不相同,擺在深色檯面上。

為什麼缺了排行榜那一欄才是重點

任何產出單一數字的基準,最後都會被朝那個數字優化。只有一個總分的影片基準,會推著團隊拿穩定性換品質、拿連續性換遵循度,比例取決於權重恰好怎麼給。沒人需要把取捨說出來。它會自己出現在分數裡。

拒絕合併,StreamEval 把取捨逼到檯面上。一個對話很強、四十秒後開始漂移的系統,會顯示成一個對話分加一個穩定性分,讀者得自己決定要哪個。

這是有代價的方法選擇。五欄表比排行榜難截圖,也難拿來寫發布文案。儲存庫是故意承擔這個代價的,理由寫在論文裡(arXiv 2610.28402)。

全開放,細到雜湊

第二個設計決定是什麼都發。基準資料、評測程式碼、協定、打分規則,全部公開。資料集同步到 Hugging Face 和 ModelScope——如果你試過在地區封鎖下下載基準,會知道這有多重要。

完整集合在 `benchmark/v1/full`。每個條件集資料夾三個檔案:`cases.jsonl` 是輸入時間軸,`oracles.jsonl` 是只給評判器看的預期結果,`manifest.json` 帶媒體路徑和 SHA-256。

三個檔案描述的是一個能重跑、能稽核的基準,而不是一個需要被信任的基準。oracle 分離意味著評判器看得到答案、模型看不到。雜湊意味著媒體不能在兩次執行之間調包。兩件事都不新鮮,兩件事在已發表的評測裡都經常缺席。

循環裡有評判模型,這是設計選擇

十個指標大多不是測出來的,是判出來的。音畫同步可以算,「品質」和「遵循」不行,只能讓模型讀輸出再打分。

這已是標準做法,帶著一個已知缺陷:評判模型有自己的偏好,針對同一個評判器調校的系統,學到的是那些偏好,而不是它本來該代理的品質。`oracles.jsonl` 的分離就是緩解手段。評判器看得到預期結果,它回答的問題更接近「這符合意圖嗎」,而不是「這好嗎」。

代價是基準測的是被評判的符合度,不是觀眾反應。作為研究工具,這個取捨是對的,因為符合度可查,觀眾反應不可查。對選供應商的產品團隊來說,這意味著遵循分高只證明系統照做了,不證明讓它做的事值得做。

跑起來不要錢

快速開始是刻意這麼設的:第一次跑不需要 API key、不需要 GPU、不用下基準。Linux 或 macOS 上 Python 3.10 以上:

git clone https://github.com/StreamEval/StreamEval.git streameval && cd streameval
python -m venv .venv && source .venv/bin/activate
python -m pip install -e ".[runtime,judge,dev]"
python -m streameval.benchmark.synthetic --out .smoke

最後一行自己生成媒體。然後:

streameval run --model streameval.models.mock:MockModel --track instruction_edit \
  --case sa.v1.901.instruction_edit --benchmark .smoke/set --data .smoke/data --out .smoke/attempt

合成媒體上跑一個 mock 模型,能得到一條端到端通的路,這是交付評測工具的正確方式。你在花錢之前就發現評判器設錯了,而且是在可重現的資料上發現的。

每月更新是對這個領域的一句判斷

README 說排行榜會每月評測新模型和更新過的模型。

對一個任務穩定的基準,這個節奏很奇怪。對互動影片,這是唯一誠實的選擇。上週和前前一週之間,OpenRouter 的影片榜單組成也變了:Avatar IV 進了前十,mischief 1 掉出去,阿里在影片請求裡的份額掉了一半以上。新系統來得比年度基準能吸收的快。

每月更新的代價是可比較性。框架一變,舊分就沒有那麼有意義;框架不變,新的模型類別就得用一套早於它們的協定來衡量。儲存庫的答案是帶雜湊的版本化基準資料夾,讓你繼續評同一個 v1 集合,同時在旁邊加新任務。

數字仍然講不清的地方

StreamEval 測的東西和一個生產團隊需要的東西之間有缺口,值得說出來。

基準打身分一致性、同步、穩定性和遵循度。它不打「這段東西值不值得看」。一個系統可以把一張臉維持五分鐘、執行每條指令,產出沒人會發布的東西。品質在指標列表裡,但只是五個之一,而影片基準裡的「品質」仍然只是一個評判模型的意見。

另一個缺口是成本。300 秒的會話和 5 秒的片段是兩個不同的經濟物件,基準對延遲和每秒價格一言不發。對互動系統來說,這通常才是決定產品能不能上線的約束。

兩個缺口都不是這項工作的缺陷。第一個基準就該去測那個沒人測過的東西,互動式串流影片此前沒有。有意思的問題是三次每月更新之後排行榜長什麼樣——同樣五個任務,落在一個已經動過兩回的領域上。

相關文章