H3パイプラインの最後の一環が、いまオープンソースになった

10月の最終週、Hugging Faceに「Open-H3-Regenerate-2K」というモデルウェイトが追加された。名前はややこしいが、出どころは堅い。NVIDIAとMITが組んだEfficient-Large-Modelチームによるもので、推論コードはNVlabs/Sanaリポジトリに置かれている。

やることは一行で説明できる。低解像度の動画ドラフトを受け取り、高精細版として生成し直す。対応するのは2560×1440、上は3840×2160まで。ただし前提がある。ドラフトがMiniMaxのH3で生成されていることだ。

このニュースの広がり方は中国と海外でかなり違う。海外で議論されているのは「また一つオープンウェイトが出た」という点だが、中国のB站（ビリビリ）で揉めているのは別のことだ。一貫性をどう保つのか、である。10月末にZ-ImageとWan2.2を組み合わせたComfyUIチュートリアルがその日の最高スコアを取り、コメント欄に並んだのは「人物の顔が変わらないか」「カット間で繋がるのか」という質問ばかりだった。本当の不安は画質の高低ではない。一本の映像の中で、人が同じ人のままでいられるかどうか、なのだ。

H3のパイプラインは、そもそも最後の一環で切れていた

MiniMax H3のウェイトが公開されたのは今年8月。公式はシステム全体を三つの段に分けている。マルチモーダル文脈処理、基盤となる音声・動画生成、そして高解像度リジェネレーション。公開されたのは第一段と、第二段のうちH3-Base——768Pの音声付き動画を担う部分——だけだ。第三段、つまり768Pを2Kまで引き上げるH3-Regenerate-2Kは、ずっとAPI経由でしか提供されてこなかった。

この役割分担自体は理にかなっている。生成モデルは「何があるか」を、精細化モデルは「どれだけ鮮明か」を担う。問題は、最後の一環がAPIしかない時点で、ローカルクリエイターのワークフローがそこで止まってしまうことだ。手元のGPUで768Pまでは回せる。だが大画面に耐える完成品が欲しければ、素材をアップロードし、従量課金を払い、相手サーバーの順番待ちまで引き受けることになる。

NVIDIAとMITが今回やったのは、この一環を埋めることだ。H3のバックボーンには触れず、動画VAEにも触れず、パラメータはすべて凍結したまま、新たに追加した精細化LoRAの一層だけを学習させた。元のモデルに眼鏡を一組かけたようなものだ。推論時には、このLoRAをコミュニティに既にあるアダプタ——たとえばLightX2VのFL2VA TurboやLMS Sharp——とマージして使い、目標解像度で3ステップのデノイズだけを回して細部を生やし直す。ドラフトのシーン、構図、動きの軌跡はそのまま残り、置き換わるのは鮮明さだけだ。

3.9倍はどうやって算出されたか

オープンソースコミュニティが高解像度化に取り組むとき、本当に怖いのは効果が薄いことではなく、使えないほど遅いことだ。チームが公表した条件はB200一枚。ウォームアップ後、5秒の動画を走らせ、潜在空間のアップスケール、3ステップの精細化、2Kデコードの三段を合計する。未最適化の実装で87.26秒、最適化後で22.45秒。およそ3.9倍である。

高速化の出どころは主に二つ。ひとつは潜在空間アップスケーラーで、これはコミュニティ製だ。動画の潜在表現を直接拡大するため、高解像度でのデコードと再エンコードの往復コストを省ける。もうひとつはデコーダで、高速なVAEデコードに差し替えたことで、この工程だけで約15秒から1.6秒に縮んだ。さらにSoL-Engineのスパースアテンションと低精度演算も重ねている。

この数字の意味は、具体的な場面に置いて初めて見えてくる。30秒の短編を6本の5秒カットで作るとすれば、1カット22秒で2分強のリジェネレーション時間。順番待ちも失敗時の再実行も含んでいない。以前ならこの工程だけで十数分かかり、その間はウィンドウを切り替えるのさえ躊躇した。今は少なくとも、走らせながら別の作業ができる。

もちろん、B200は一般人のカードではない。コンシューマGPUで同じ流れを回せば、時間は何倍にもなる。公式は4090や5090のデータを出していない。そこは自分で試すしかない。

スコアは公式APIより高い。ただし高い場所はかなり具体的だ

チームはRefinerBench-150で比較を行った。入力は同一、出力はいずれも2K。知覚品質評価のUniPerceptでは、このオープンソース版が平均60.0、公式H3-Regenerate-2KのAPIが53.4。6.6ポイントの差だ。

VBenchの結論はもっと面白い。美的品質、画質、被写体一貫性の3項目でオープンソース版が上回り、動きの滑らかさとダイナミズムでは公式APIがわずかに勝つ。噛み砕けば、オープンソース版は各フレームをより「綺麗」に、より「安定」に直すが、その代償として動きがやや保守的に補正される可能性がある。トーキングヘッド、製品紹介、ドキュメンタリー素材のように静的な構図が主体のショットでは得だが、格闘、ダンス、速いカメラワークでは割に合わないことがある。

もう一点、注目すべきことがある。被写体一貫性のスコアが高いのだ。これは中国語圏のコミュニティが最も気にしている点にぴたりと刺さる。リジェネレーションで最も破綻しやすいのは顔と衣服のテクスチャで、フレームごとに直しているうちに、最後には主人公が別人になっている。今回のデータは、少なくとも2Kの帯では、精細化の過程が同一性の保持にプラスに働くことを示している。

その立ち位置——新しいモデルではなく、パイプラインのパッチ

この成果の価値を理解するなら、モデルとして見ないほうがいい。これはミドルウェアだ。

この一年、動画生成の進歩は主に「生成できるか」と「どれだけ長く生成できるか」で起きてきた。いま、その二つの限界効用は下がりつつあり、ボトルネックは後ろへ移った。ドラフトが出た後をどうするか、である。業界の通例は、まず安く速い方法で低解像度のドラフトを出し、絵コンテ、テンポ、人物が合っていることを確認してから、確定カットを高解像度化に回す。この「高解像度化に回す」工程は、これまで有料APIか手作業の超解像だった。そこに、自分でデプロイできるオープンソース実装が加わったわけだ。

独立系クリエイターにとってはコスト構造が変わる。GPUを一度買えば、あとは電気代で回る。小規模チームにとっては、高解像度化を夜間バッチに放り込み、翌朝に受け取れるということだ。プラットフォーム側にとっては、リジェネレーションのたびに通行料を払う必要がなくなる。

ただし、ただ飯ではない。動かすにはH3-Baseのウェイトが要り、768Pドラフトという品質上限を受け入れ、2Kデコードに耐えるVRAMも要る。ドラフト自体の構図が間違っていたり人物が違っていたりすれば、リジェネレーションはその誤りをより鮮明に直すだけだ。

エコシステムはすでにモデルの先を走っている

H3が8月にオープンソース化されて以降、1カ月で2400万回以上ダウンロードされ、公開された派生モデルは300以上。今年のダウンロード数で上位に入るモデルのひとつだ。周辺のツールチェーンは速いペースで育っている。LightX2Vは4ステップと8ステップのTurbo蒸留版を出し、コミュニティ微調整版のSingularityは動き、顔、スタイルに特化。FastVideoは4ステップのFastH3プレビュー、Pikaは6ステップサンプリングのH3 Flexを出し、ComfyUIとUnslothはそれぞれ対応と量子化を用意した。

NVIDIAとMITのチーム自身も止まっていない。今回の動画エンハンスに加えて、H3 Ref2VAをベースにしたストリーミングレンダリングモデルStreamRender-H3、そしてH3の動画VAEから蒸留した高速デコーダSol-H3-VAEも公開している。

「基盤モデルが開かれ、上位モジュールを外部チームが一つずつ埋めていく」このリズムは、実のところオープンソース動画エコシステムが初めて成立させたものだ。副作用もある。公式APIの相対的な優位は縮んでいる。ローカルで3ステップのデノイズを回してより高い知覚スコアが取れるなら、課金の理由は「品質が上」から「楽だから」に変わる。

試すべきか

すでにH3で映像を出しているなら、このリポジトリは一度クローンして回してみる価値がある。見るべきは二点。自分の素材が2Kでどれだけ被写体一貫性を保つか、そして自分のカードが許容できる時間でデコードを終えられるか。たまに短編を数本作るだけなら、公式APIのほうが依然として気楽だ。22秒のリジェネレーション時間は、クラウドでは誰かが代わりに待ってくれている。

本当に見るべきは方向性だ。動画生成は「一発で完成させる」ものから、「ドラフト＋仕上げ」の二段構えの工程へ移りつつあり、その仕上げの段にオープンソースの選択肢が生まれた。向こう半年、クリエイターの生産効率を決めるのは、どのモデルで生成するかではなく、後処理のパイプラインをどれだけ滑らかに組めるか、かもしれない。