200 件の実編集タスク、0.27 点差：画像ベンチマークは何を測っているのか

3つの数字、3つの異なる主張

新しい画像モデルが出ると、まず渡されるのはグラフ付きのプレスリリースだ。グラフではたいてい新モデルが一番上にいて、並び順はベンダーが選んだ指標、測定にはベンダーが作ったデータセットが使われている。業界の誰もがそれを知っていて、それでもそのグラフを引用する。初日に引用できるものが他にないからだ。

今月もっとも分かりやすい例は、10 月 15 日に Black Forest Labs が出した FLUX 3 Image Klein、5.6B のオープンウェイトだ。1 週間のうちに 3 組の数字が出回り、その食い違い方自体が示唆に富んでいた。

ベンダーの Elo 値：オープンウェイトモデルの中で、テキスト to イメージ、マルチリファレンス生成、画像編集の 3 部門で 1 位。より大きな競合を上回った。自社の FLUX.2 klein 9B と比べると、テキスト to イメージで 91 Elo、編集で 70 Elo 向上し、パラメータは 38% 少ない。

ベンダーのレイテンシ値：1 メガピクセルでの API レイテンシ中央値は、テキスト to イメージが 4.54 秒、編集が 7.18 秒で、名前を挙げた 4 社の競合より速い。ただし方法論の注記にはこうある。新モデルは BFL 自身のサーバーで計測し、他社はクライアント側から計測したためポーリングとネットワーク時間を含む。さらに競合 1 社は large ではなく medium ティアで測られていた。

第三者のブラインドテスト：実際の編集タスク 200 件で、Klein が 6.93、Nano Banana 2.1 が 7.20。10 点満点で 0.27 点差。同じテストで、Klein はポーズ調整と複数画像の合成が苦手だという結果も出ている。1 枚あたりのコストは競合のおよそ 5 分の 1。

これらの数字はどれも不誠実ではない。それぞれ違う問いに答えているだけで、混乱はそれらを同じ問いとして扱うところから来る。

Elo が教えてくれること、教えてくれないこと

Elo は嗜好スコアだ。2 つの出力を人に見せて"どちらが良いか"と聞いたとき、片方がより頻繁に選ばれた、というだけのもの。これはれっきとした測定であり、"こちらの方が良く見えるか"という問いに対しては正しい測定だ。

ただし、はっきりした盲点がある。タスクの文脈を潰してしまうのだ。あるモデルが Elo の平均で勝ちながら、あなたが唯一必要としている作業で大負けすることがある。白背景の物撮り、ポーズ変更、3 枚の参照画像を 1 つの整合したシーンに合成する仕事が中心なら、その平均はあなたの平均ではない。

ブラインドテストで最も有用な発見はスコアではない。失敗の仕方だ。実際の編集タスク 200 件で繰り返し出た誤りはポーズとマルチリファレンス合成に集中していた。まさにレイアウトの仕組みが効くはずのタスクである。"0.27 点負けている"よりはるかに実行可能な文で、どの仕事を別に回すべきかが分かる。

スケールの話も率直にしておきたい。10 点満点の人手評価で 6.93 対 7.20 は小さな差だ。テストセットにどの画像が選ばれたか、評価者の好みで順位が入れ替わりうる範囲に十分収まっている。この規模の差はヒントであって判決ではない。

コストの列こそ、みんなが飛ばすところ

見出しに入っているべき数字はこれだ。1 枚あたりのコストが 5 分の 1。

モデル A が 4% 良くて 5 倍高いなら、ほとんどのワークフローでの正解は"A を使う"ではない。"簡単な 8 割のフレームは B、難しい 2 割は A"だ。これは妥協ではない。制作の現場は昔からそうやって回ってきた。すべてのカットを一番高いフィルムで撮る人はいない。

コストは行動も変える。5 分の 1 の価格のモデルは、試す余裕のあるモデルだ。1 案ではなく 5 案、失敗した手をもう一度、背景をもう 1 パス。反復回数はベンチマークに決して現れない品質のレバーであり、安いモデルがスコア以上に実戦で勝つ主な理由でもある。

同じパターンは API 市場のデータにも出ている。Vercel の 10 月のゲートウェイ指数では、安価なオープンウェイトモデル 1 つが 9 月のトークンのほぼ半分を処理し、支出は 3% 未満だった。量は価格に従い、数ポイントの品質差は予算と接触した時点でほとんど生き残らない。

ベンダーの数字がまだ効く場面

だからといって公式ベンチマークが無価値なわけではない。2 つの主張は構造的に有用だ。

パラメータ効率の主張、つまり 38% 少ないパラメータでより高いスコア、これは反証可能で方向性として重要だ。品質だけでなく配備を予測するからだ。5.6B の画像バックボーンに 4B のテキストエンコーダ、さらにオプションの 9B プロンプトアップサンプラを足したものは、5.6B のシステムとは違う。小さいモデルが良いプロンプトを書くのに言語モデルの助けを要するという事実自体が 1 つの発見だ。短いプロンプトは凡庸な結果を生む。これは脚注の形をした配備上の制約である。

レイテンシの主張も有用だ。ホームチーム有利の方法論であっても。1 メガピクセルで 4〜7 秒というのは、ローカルで動かせるモデルにとって、インタラクティブツールが本当にインタラクティブに感じられるかを決める数字だ。ユーザーがボックスをドラッグして待つ UI を作っているなら、効いてくるのはこの数字で、Elo のグラフには載っていない。

次のローンチをどう読むか

問いは 4 つ、この順番で。グラフの大半は飛ばしていい。

テストセットは誰が作ったか？ベンダー製ならデモとして扱う。測定として扱わない。

ブラインドで第三者だったか？モデルの素性を隠した実タスク 200 件は、ベンダー自身の比較 1 万件より価値がある。

何に失敗したか？失敗の仕方が製品判断になる。"ポーズ変更に弱い"は、どこで使わないかを教えてくれる。

コストはいくらか？比較する前にすべてのスコアを価格で正規化する。やり直しのコストもモデルのコストの一部だと忘れないこと。

グラフで勝つモデルと、あなたのパイプラインで勝つモデルは、しばしば同じではない。そして両者の差は、たいてい誰もスクショしない列にある。

静かな結論

オープンウェイトの画像モデルは、競争できるかどうかが論点ではなくなるほど良くなった。200 タスクのブラインドテストで、5.6B のオープンモデルはクローズドの競合に 0.3 点以内まで迫り、価格は 5 分の 1。食い違っていたのは全体能力ではなく、特定のタスク種別についてだった。

成熟した市場が成熟した市場らしく動いている。単一の勝者はいない。タスクごとに振り分ける。そしてコストの列が、どのベンチマークよりも多くの配備を決めている。ベンダーのグラフはこれからも毎月出てくる。役に立つスキルは、自分が 3 つの数字のどれを見ているのかを分かっていることだ。