Pika H3 Flex、50ステップを6ステップに縮めて音まで同時に出す

50ステップのデノイズなど、この業界の外の人が気にする必要のない数字だ。それでいて、動画モデルがデモなのかツールなのかを静かに決めている数字でもある。

Pikaの新しいリリースは、その数字の上に建っている。Pika H3 FlexはMiniMaxのH3モデルを取り、ファインチューニングし、projection distribution matching distillationで教師の50ステップを6ステップまで蒸留し、そのうえでアダプタの重みと推論コードを公開した。6ステップで、映像と音が一緒に出てくる。

最後の部分は強調に値する。多くの「音声付き動画」モデルは、クリップを生成してから、それらしいサウンドトラックを後付けする。同時生成とは、音声がフレームと同じループでデノイズされるということで、ドアが閉まる音と相手が身をすくめる動作が、たまたま揃った2つの出来事ではなく、同じ出来事になる。

何がオープンなのか

LoRAアダプタが2つ。1つはテキストと先頭・末尾フレームの条件付け、もう1つはマルチモーダル参照入力。加えてPikaはMiniMax H3のベース構成要素とローカル推論ツール、ComfyUIワークフロー、Hugging Face Diffusers経路を公開した。

ネイティブ出力は480Pまたは768P、5〜15秒、ステレオ音声が同期する。控えめに聞こえるが、APIが足すものを見ると変わる。1080P、2K、4Kの拡張、そして生成されたサウンドトラックを5トラック——セリフ、音楽、効果音、フォーリー、環境音——に分けるステム分離だ。

ステム分離は、私が実際に金を払う機能だ。生成動画を実編集で使おうとした人なら分かる。音声が1つの分離不能な塊なのだ。ナレーションの下で音楽を絞れない、セリフを別言語に差し替えられない、次のカットのルームトーンとぶつかるから環境音を落とせない。5ステムあれば、生成クリップが素材になる。

想定ワークフローもそこから導かれる。低解像度で生成し、気に入ったテイクを選び、それから拡張する。安く下書き、高く仕上げる。映画制作の他のすべての工程がすでにそうなっていて、すべての生成が最終レンダであるふりをしないモデルベンダーを見るのは良いことだ。

速度の数字を文脈に置く

Pikaはホスト推論の最適化結果も公開している。8枚のNVIDIA B300 GPUで、重みと6ステップのサンプラを固定したまま、5秒・768P・音声付きのクリップ生成が、条件付け、デノイズ、デコードを通して3.409秒から2.129秒になった。約1.6倍。

1.6倍のエンジニアリング上の勝ちは見出しにならない。だが、何百万もの下書きを回すときのユニットエコノミクスを決めるのはこういう数字だ。そして、基準を明示せずにパーセントだけ出すのではなく、前後を出したのは清々しい。

品質の主張は検証しにくい。PikaはH3 Flexが比較対象の中で視覚・音声品質の5指標で最高得点を取ったとし、DesignArenaのテキストto動画ボードで8位、そこでのオープン動画モデル最上位だと述べている。ベンダーによる比較はベンダーによる比較だ。DesignArenaの順位のほうが有用な信号である。あなたのアーキテクチャに関心のない他人がブラインドで投票しているからだ。

自分の音を聴くモデルへのプロンプト

音声同時生成は、試すまで分からない形でプロンプト戦略を変える。映像だけを描写すると、モデルは合わせてサウンドスケープを発明する。しかも大抵は当たり障りのないものだ。ルームトーン、遠くのサイレン、正体不明のハム。

だから音を明示的に書く。欲しい物音はすべて発生源を名指しし、もっと重要なのは、静かにすべきものを名指しすることだ。「2秒の時点でドアが1回閉まる。音楽なし、鳥の声なし」なら使えるものができる。「戸口での緊迫した場面」は、緊迫のストック音オーディオ的な近似を生む。無音より悪い。

セリフは短く、早めに置く。モデルには5〜15秒しかなく、9秒かかる一文は、本当に欲しかったリアクションショットの余地を残さない。セリフが映像より重要な場合は、別テイクとして生成して編集で入れる。

そして最初の生成は映像ではなく音のテストとして扱う。照明が平凡でフォーリーが完璧なクリップは、足音が0.5秒遅れて届く美しいカットより有用だ。

なぜH3がベース層になりつつあるのか

Pikaのリリースの2日前、NVIDIAとMITのチームがOpen-H3-Regenerate-2Kを公開した。低解像度の下書きを2Kで再生成するオープン実装で、4Kのネイティブ再生成に対応し、ウォームアップ後の単一B200で3.9倍の高速化を報告している。

2つの独立したグループが、1週間のうちに、同じ中国製ベースモデルの上で、逆方向に作っている。片方はサンプリングループを圧縮し、もう片方は解像度を足す。ベース層とはそういうものだ。誰の基盤モデルが勝つかは誰も議論していない。その上の層を誰が持つかを議論している。

作り手にとっての実際の帰結は、「どのモデルか」という問いがどんどん面白くなくなることだ。強いオープンベースが共有されるなら、差別化はアダプタ、ワークフロー、そしてAPIが上に足すものへ移る。今回は解像度とステムだ。

まだ難しいこと

5〜15秒は短い。1カットには足りるが、1シーンには足りない。このクラスのモデルはどれも同じ3つで苦戦している。細かい作業をする手、面の上の文字、カットをまたぐ連続性。今回のリリースはどれもそうでないとは主張していない。そこは評価する。

768Pネイティブは、スマホの画面より大きいものに納品するなら現実的な制約だ。2Kと4Kの経路はあるが、それはPikaのAPIを通る。つまりオープンな重みで下書きが手に入り、有料サービスで仕上げが手に入る。ビジネスモデルであって裏切りではないが、ここでの「オープン」は「評価して組み込むには十分オープン」という意味だ。

そして6ステップ蒸留には見落としやすいコストがある。ステップが減れば、サンプラが探索できる余地も減る。蒸留モデルは蒸留した分布に非常に強く、その外ではやや脆い傾向がある。珍しいアスペクト比、密なプロンプト制約、分布から少し外れた参照入力。普通の仕事なら気づかない。変わった仕事なら気づく。

試し方

ComfyUIが動いているなら、ワークフローファイルが最短だ。読み込み、アダプタを指し、768Pで生成し、音を聴く。まず映像ではなく同期を判断する。口パクと衝撃音が、同時生成が機能するかどうかの分かれ目だ。

Diffusersならパイプラインは普通で、アダプタはベースにマージされるので推論時に余分なステップは払わない。参照画像を渡すと生成時間はおおむね延びる。そのトークンがテキストやターゲットと同じ系列に入るからだ。

それから、本当に気に入ったクリップを1本APIに通してステムを取る。そこでツールはおもちゃでなくなる。音楽をミュートし、フォーリーを残し、別の声トラックを差し込めることは、「AIが作った」と「自分が使える」の違いだ。

このリリースが静かに主張していること

2年間、売り文句はより大きなモデルだった。ここでのPikaの売り文句は、より小さなサンプリングループ、オープンなアダプタ、そして編集の実際の進め方を尊重するポストプロダクションの面だ。

それは刺激の少ない話で、締め切りと接触して生き残るほうの話でもある。6ステップはマーケティングの数字ではない。ボトルネックが「生成できるか」から「反復する余裕があるか」へ移ったという宣言であり、ようやく誰かがその答えに値段を付けた。