動画生成にベンチマークが出た、ただし総合スコアは出さない

StreamEvalは10月15日に登場し、インタラクティブなストリーミング動画生成のための最初のベンチマークだと名乗る。評価するセッションは15秒から300秒で、測る単位はセッションだ。人が話しかけ続けている間に、システムがどう振る舞うか。
この区別がベンチマークの存在理由で、はっきり書いておく価値がある。この1年に読んだ動画モデルの比較のほぼすべては、5秒か10秒の出力をプロンプトに対して採点したものだ。ストリーミング系は別のことをする。生成の途中で新しい指示を受け、その指示をまたいでシーンを一貫させ、フレームではなく分単位で同一性を保つ。
5つのタスク、5つの別物が動画と呼ばれているから
ベンチマークは、失敗する理由が異なるタスクに分かれる。
デジタルヒューマン対話は、ポートレートとペルソナ、ユーザーの発話かテキストのターンを渡し、品質、音声と映像の同期、安定性、対話、同一性を採点する。
アバター演技は、ポートレートと演じる台本を渡し、ライブの指示で演技させ、品質、同期、安定性、追従性、同一性を採点する。最初のタスクとの違いは、ユーザーが会話をするのではなく演技を演出する点だ。
世界生成は、冒頭のプロンプトか画像を取り、そのあとライブのプロンプトとカメラ操作を受け、品質、安定性、追従性、連続性、そして入力が画像だった場合は参照指標も採点する。
指示編集は、ライブのソース動画とテキストの編集指示を入力し、品質、安定性、追従性、編集成功率、保持を採点する。
参照編集は、ライブのソース動画に加えて適用・パッチ・削除・リセット用の参照画像を入力し、対話の指標を参照指標に差し替える。
指標は0から100で採点する。タスクの総合値は、適用される指標の等重み平均。そして設計全体を読めるようにする一文が続く。タスクは決して1つの合計に統合されない。

リーダーボードに欠けている列こそが要点
単一の数値を出すベンチマークは、いつかその数値に向けて攻略される。合計が1つの動画ベンチマークは、チームに品質と安定性、追従性と連続性を、重みがたまたま好む比率で交換させる。誰もその交換を宣言する必要はない。スコアに現れるだけだ。
統合を拒むことで、StreamEvalは交換を白日の下に出す。対話を決めて40秒で漂流するシステムは、対話スコアと安定性スコアとして現れ、読み手がどちらが必要かを決めることになる。
これはコストのある方法論的な選択だ。5列の表はランキングよりスクリーンショットにしにくく、ローンチ記事も書きにくい。リポジトリはそのコストを意図的に引き受け、理由は論文(arXiv 2610.28402)にある。
完全にオープン、ハッシュまで
2つ目の設計判断は、すべてを出すことだ。ベンチマークデータ、評価コード、プロトコル、採点規則、すべて公開。データセットはHugging FaceとModelScopeにミラーされ、地域ブロックの向こうからベンチマークを落としたことがある人には効く。
フルセットは `benchmark/v1/full` にある。各条件セットのフォルダには3つのファイルが入る。入力タイムラインを持つ `cases.jsonl`、判定者だけが使う期待結果を持つ `oracles.jsonl`、メディアのパスとSHA-256ハッシュを持つ `manifest.json`。
この3つが、信じるのではなく再実行し監査できるベンチマークを記述する。オラクルの分離により、判定者は答えを見てモデルは見ない。ハッシュにより、実行の間でメディアをすり替えられない。どちらも新しくはなく、どちらも公開された評価からしばしば欠けている。
判定モデルがループに入っている、それも設計判断
10個の指標の大半は測定ではなく判定だ。音声と映像の同期は計算できるが、品質と追従性は計算できないので、モデルが出力を読んで採点する。
これは今や標準的な手法で、既知の失敗を伴う。判定モデルは好みを持ち、同じ判定者に合わせて調整されたシステムは、代理させたかった品質ではなくその好みを学ぶ。`oracles.jsonl` の分離が緩和策だ。判定者は期待結果を見るので、答える問いは「これは良いか」より「これは意図に合っているか」に近づく。
コストは、ベンチマークが観客の反応ではなく判定された適合性を測ることだ。研究用のハーネスには正しい取引で、適合性は検証でき観客の反応はできない。製品チームがベンダーを選ぶ場合、追従性の高スコアは指示どおりに動く証拠でしかなく、指示されたことがやる価値があったかについては何も言わない。
走らせるのはタダで始められる
クイックスタートは意図的に、最初の実行にAPIキーもGPUもベンチマークのダウンロードも要らないようにしてある。LinuxかmacOSのPython 3.10以降で:
git clone https://github.com/StreamEval/StreamEval.git streameval && cd streameval
python -m venv .venv && source .venv/bin/activate
python -m pip install -e ".[runtime,judge,dev]"
python -m streameval.benchmark.synthetic --out .smoke
最後の行がメディアを自分で生成する。そのあと:
streameval run --model streameval.models.mock:MockModel --track instruction_edit \
--case sa.v1.901.instruction_edit --benchmark .smoke/set --data .smoke/data --out .smoke/attempt
合成メディア上のモックモデルが、端から端まで動くパイプラインを生む。評価ハーネスの正しい出し方だ。何も費用をかける前に判定者の設定ミスを知り、しかも再現可能なデータの上で知る。
毎月の更新は、この分野についての声明
READMEは、リーダーボードは新しいモデルと更新されたモデルを毎月評価すると書いている。
安定したタスクのベンチマークなら、その頻度は奇妙だ。インタラクティブ動画なら、それが唯一正直な選択になる。先週とその前の週のOpenRouterの動画リーダーボードでは構成が変わった。Avatar IVがトップ10に入り、mischief 1が外れ、アリババの動画リクエストシェアは半分以上落ちた。新しいシステムは、年次のベンチマークが吸収できる速度より速く来る。
毎月更新のコストは比較可能性だ。ハーネスが変われば古いスコアの意味は薄れる。変わらなければ、新しいモデルクラスをそれより前のプロトコルで測ることになる。リポジトリの答えはハッシュ付きのバージョン管理されたベンチマークフォルダで、同じv1セットを評価し続けながら、隣に新しいタスクを足せる。
数字がまだあまり語らないところ
StreamEvalが測るものと制作チームが必要とするものの間には隙間があり、名指しする価値がある。
ベンチマークは同一性の一貫性、同期、安定性、追従性を採点する。出力が観る価値があるかは採点しない。顔を5分保ち、すべての指示に従い、誰も公開しないものを作ることはできる。品質は指標の一覧にあるが5つのうちの1つで、動画ベンチマークにおける品質は依然として判定モデルの意見だ。
もう一つの隙間はコストだ。300秒のセッションは5秒のクリップとは別の経済的対象で、ベンチマークは遅延と秒単価について沈黙している。インタラクティブ系では、それが製品を出せるかどうかを決める制約であることが多い。
どちらの隙間も仕事の欠陥ではない。最初のベンチマークは、測定がなかったものを測るべきだ。インタラクティブなストリーミング動画には何もなかった。面白い問いは、3回の月次更新のあとリーダーボードがどう見えるかだ。同じ5つのタスクが、すでに2度動いた分野に適用されたあとで。
関連記事
Antigravityのリモートエージェント、クラウドVMで動く代わりに手放すもの
Antigravity 2.29でリモートエージェントが登場し、セッションとツールがGoogle管理のクラウドVMで動くようになった。ノートPCを閉じても作業は続くが、ローカルのMCPサーバーやskillsは失われる。
NVIDIA、世界モデル「Cosmos 3」の派生4種とデコード基盤「VFlash」を相次いで公開
NVIDIAは11月5日、16BのCosmos 3 Nanoを専門化した4つのチェックポイントをOpenMDW1.1で公開し、学習レシピと推論コードも添えた。翌日には幾何出力を並列生成するデコード基盤VFlashを発表している。
GitHubトレンドの4分の1を「エージェントskills」が占め、導入方法は4通りに分裂
11月8日のGitHubデイリートレンド15件のうち4件がエージェントskillsのリポジトリだった。形式は`SKILL.md`とYAMLフロントマターだけで単純だが、導入経路は4製品でばらばらで、重複が優先順位の問題を生む。
Thinking Machinesの「Inkling 2 Small」、594Bの疎なMoEで86.3% 重みは「来週」のまま
Thinking Machinesは11月5日、総パラメータ594B・トークンあたり17B活性の疎なMoE「Inkling 2 Small」を発表した。SWE-Bench Pro v2 Hardで86.3%を記録し、Apache 2.0の重みは公開1週間後以降とされる。