1.6B モデルは画像をトークンに変換するのをやめ、そうするアーキテクチャに勝った

華中科技大学(HUST)のチームが Horizon Robotics と共同で、今月、既存の二つの道のどちらも取らないマルチモーダルアーキテクチャの論文を発表しました。モデルは MF-1 といいます。1.6B のパラメータを持ち、1500 億トークンでゼロから学習され、同一のデータと計算予算での比較で、既存の二つの手法の両方を上回っています。
この結果で重要なのはベンチマークの数字よりも、現在のマルチモーダル学習のどれだけの部分がアーキテクチャのために無駄になっているかという点です。
二つの道と、それぞれのコスト
ここ数年、言語と画像を同じモデルに入れる方法は二つありました。
Chameleon や Emu3 が取る完全離散の道は、画像を離散トークンに量子化し、すべてを一つの長い整数列と一つの自己回帰目的関数にします。エレガントですが、硬い天井があります。視覚トークナイザーが量子化の際に高周波のディテールを捨ててしまうのです。細かいテクスチャ、小さな文字、微妙なグラデーションは、モデルが見る前に平坦化されます。トークナイザーを良くすることはできますし、実際にやってきた人もいますが、天井は構造的なものです。
Transfusion や JanusFlow が取るハイブリッドの道は、テキストを離散のまま、画像を連続のまま保ちます。テキストは next-token prediction を通ります。画像は拡散プロセスを通ります。これで量子化のボトルネックは完全に避けられますが、別の問題が生まれます。モデルは二つの目的関数と二つのサンプリングパイプラインを維持することになり、それらを同時に最適化するのは研究の問いではなくエンジニアリングのプロジェクトになります。アブレーションはどれも二倍のコストがかかります。
どちらの道も、一方のモダリティをもう一方の形式に翻訳することを伴います。Multimodal Flow が拒否するのは、まさにその妥協です。
一つの目的関数、二つのネイティブ形式
この設計は、言語をその連続埋め込み空間に、画像をそれぞれの空間に置いたまま、両者で単一の Flow Matching 目的関数を共有します。

具体的には、テキストは八トークンずつのチャンクに分割され、各チャンクは凍結された T5-small によって連続的な text hyperchunk にエンコードされます。画像は凍結された SigLIP2 エンコーダを通り、16 かける 16 の空間グリッドとして出てきて visual hyperchunk を形成します。hyperchunk はタスクが要求する順序で一つの系列に連結され、共有の Chunk-Causal Flow backbone に投入されます。
アテンションマスクが巧妙な部分です。k 番目の hyperchunk を予測するとき、それ以前の hyperchunk はすべて可視で、現在のチャンク内の位置は同時にモデル化され、後続のチャンクはマスクされます。因果性はチャンク粒度で保たれ、情報はチャンク内を自由に流れます。だからこそ 256 セルの視覚 hyperchunk が、256 個の独立した決定ではなく、一貫した画像として生成されるのです。
二つ目の設計上の選択は transformer 内部のハイブリッドです。アテンション層は共有され、言語と視覚が互いを参照できます。FFN 層はモダリティ固有のままです。両者の表現の統計が十分に違い、一つのフィードフォワードブロックに押し込むと損が出るからです。論文のアブレーションはこれを裏付けているとされ、こういう細部が他の全員の三か月を節約します。
テキストチャンクは八トークン長で、これは意図的な妥協です。小さいチャンクは細かい制御とより多くの系列位置を与えます。大きいチャンクは因果マスクを安くします。八がトレードオフの着地点でした。
数字
テキストから画像:GenEval 総合 0.821、DPG-Bench の長いプロンプト整合性 83.44。GenEval のカウンティングサブタスクで MF-1 は 0.73 を出し、同規模の統合モデルを大きく上回ります。カウンティングは統合アーキテクチャの悩みの種でした。数字を複数のインスタンスに結びつける必要があり、視覚チャンクを同時にモデル化することが助けになるようです。
理解:VQAv2 72.6、MMBench 67.2、POPE 86.1、平均 75.3。この平均は、事前学習済み言語モデルから初期化した同サイズのモデルを上回ります。ここが意外な点です。事前学習済み LLM からのスタートは普通、無料の性能だからです。
この論文を読む価値があるのは比較統制の部分です。同じデータ、同じパラメータ予算、同じオプティマイザで、Multimodal Flow は GenEval、GQA、VQAv2、MMBench のすべてで Transfusion 型のハイブリッドと Chameleon 型の離散アーキテクチャを上回ります。一つのベンチマークで 1 点上回るのではありません。セット全体でです。
なぜカウンティングが重要なテストなのか
GenEval のサブタスクの中で、アーキテクチャを最もきれいに分けるのはカウンティングです。
赤いリンゴを三つ、とモデルに求めるのは、二つのことを同時に要求します。数字の三を表現し、その数字を三つの異なる物体インスタンスに結びつけ、しかもそれぞれが赤くリンゴの形でなければなりません。離散トークンモデルは二つか四つを出しがちです。拡散モデルはもっともらしい塊を出して、誰も数えないことを願う傾向があります。ハイブリッドシステムは画像側が連続なのでより近づきますが、テキスト側は引き渡しに耐える基数を渡さなければなりません。
そのサブタスクで MF-1 が 0.73 を出したことは、総合 0.821 より大きな意味を持ちます。総合値の一部は色や単純な物体という易しいプロンプトに支えられているからです。
1500 億トークンこそが本当の主張である理由
最先端のマルチモーダルモデルは兆単位のトークンで学習されます。MF-1 は 1500 億、1.6B のパラメータで、GenEval 0.821 に到達しました。
これがスケールするなら、一つの前提が変わります。現在の通説は、統合マルチモーダルモデルは二つのモダリティをうまく学ぶのに膨大なデータが要るので高くつく、というものです。この論文は、そのコストの大きな部分が妥協の代価をアーキテクチャが払っていたものだ、と示唆します。画像の量子化は品質を損なうので、より多くのデータで買い戻す。二つの目的関数の維持は最適化効率を損なうので、より多くの計算で買い戻す。
妥協を取り除けば、同じ予算でより遠くへ行けます。これが 100 億や 1000 億パラメータでも成り立つかは未回答で、論文もそう主張していません。チームは、これは一つのスケール、一つのデータ混合だとはっきり述べています。
今年の他の仕事につながる二次的な含意もあります。別の研究の流れは、画像生成から VAE を完全に取り除こうとしてきました。画像を潜在に圧縮して戻すと、誰も失えと頼んでいない情報が失われるからです。Multimodal Flow はエンコーダを残しつつ、その出力を言語的なトークンとして再表現すべきものとして扱うのをやめます。視覚 hyperchunk は最後まで視覚のままです。同じ直感です。
これが解決しないもの
三つの限界を挙げておきます。
エンコーダは凍結されています。T5-small と SigLIP2 は flow backbone と共同で学習されておらず、表現品質の天井は別の場所で決まっています。共同学習したエンコーダならおそらく良くなるでしょうし、はるかに高くつくでしょう。
画像解像度は潜在グリッドで 16 かける 16 で、GenEval には十分ですが、文字のレンダリングや細部を含むものには不十分です。高解像度での生成品質はこの論文の主題ではありません。
そしてこれは研究の成果物です。コードは GitHub の hustvl/Multimodal-Flow にあり、重みは製品ではなく出発点で、ホストされた API はありません。来週それで画像パイプラインを置き換える人はいません。
これがやるのは、ありうる未来の空間を狭めることです。1.6B の完全連続モデルが同じ予算で二つの確立した統合アーキテクチャを上回れるなら、次のマルチモーダル基盤モデルには、半年前の議論には存在しなかった第三の設計選択肢があります。トークナイザーについて多くの計算を使って議論してきた分野にとって、それはテーブルに載せておく価値のあるものです。
関連記事
中国製 Android のシステム UI に載った広告を切る、コミュニティ管理のタップ表
システムには触らず、アンロックも書き込みもしない。ベンダーがもともと用意したスイッチを一つずつ倒すだけだ。代償は、この一覧を書き続ける人が要ることにある。
GPT Image 2.6 はトークン単価を据え置き、請求額を上げた
GPT Image 2.6 は 2.5 のトークン単価をすべて引き継ぎながら、1 枚あたりの費用は上がった。仕事の多くが出力トークン側に移ったからだ。11 日目の価格構造は、ランキングより多くを語る。
外から IDM を作り直した人が、触れなかった部分を書き残した
Mister Download Manager は Internet Download Manager の流れを Rust で作り直し、5 倍の速度と 86 言語を掲げる。より興味深いのは、何もコピーせずにどう作ったのかを説明した段落のほうだ。
Rune はエージェントが自分の仕事を検証できるように作られた Rust UI フレームワーク
Rune はヘッドレスで描画し、要素ツリーを出力し、スクリプト化された入力を受け付ける。スクリーンショットでは決して得られない、diff できる信号をコーディングエージェントに渡せる。フレームワークはプレリリースで、プルリクエストは受け付けない。