← ブログに戻る
Ai読了目安 13 分

二人のラボが $21,038 で画像モデルを訓練した。それは字を一つも描けない

公開日 2026年11月13日
二人のラボが $21,038 で画像モデルを訓練した。それは字を一つも描けない

Linum は二人です。Sahil と Manu Chopra は動画モデルをゼロから訓練し、実験ノートを公開しています。研究用のチェックポイントを製品のふりをする気はありません。11 月 4 日、彼らはテキストから画像を作るモデルを Hugging Face に置きました。重みは Apache 2.0、API キーなしで動く GitHub リポジトリ、そして請求書が載ったブログ記事が付いています。

請求書には $21,038 とあります。

この数字のせいで、記事は Hacker News で 235 ポイントを獲り、一週間で四つのニュースレターに細かく検討されました。オープンな画像モデルの多くは、プレスリリースとリーダーボードの順位を伴って出てきます。これは 8,415 H100 時間、1 時間 $2.50、FSDP2 の下の 64 GPU という条件と、失敗するプロンプトの一覧を伴って出てきました。

お金が何を買ったのか

事前訓練は $20,348 です。8,139 H100 時間、512 ピクセルで 610 million サンプル、そのあと 1024 で 50 million サンプル。事後訓練で 276 時間、$690 が加わりました。Finite Difference Flow Optimization の変種で、自動と人間の判定者を混ぜています。

モデルの名前は P-JiT 21K、Pyramid-JiT の略です。サンプリング時のパラメータは 2.18B、訓練時は約 2.42B で、増えた分は捨てるヘッドの重みです。テキストエンコーダは凍結した Qwen3.5-4B で、7 層目、15 層目、27 層目を読みます。

請求額がここまで低い理由は、設計の二つの選択で説明できます。どちらもトークンの話です。

VAE がありません。名前の挙がる画像モデルはほとんどが潜在拡散モデルです。別に訓練したオートエンコーダが画像を小さな空間に圧縮し、拡散トランスフォーマがその中で生成を学び、デコーダが潜在表現をピクセルに戻します。P-JiT はそのパイプラインの両端を削って、生のピクセルで動きます。

パッチも粗いままです。画像は 32 by 32 ピクセルのブロックに切られ、それぞれが 3,072 値の RGB のかたまりとして 1,024 次元に射影されます。多くの潜在モデルは 16 by 16 で切ります。512 by 512 の画像はここでは 1,024 個ではなく 256 個の画像トークンになり、アテンションのコストはトークン数の二乗で下がります。トークンが四分の一なら、アテンションの計算は十六分の一です。

がらんとしたコンクリートの倉庫に、作業灯の下でぽつんと立つ小さなサーバーラック

三つ目の工夫は監督です。幹の 10 番目と 16 番目のブロックのあとの読み出しヘッドが、四分の一と二分の一の解像度で clean な画像を予測します。これで浅い層は 22 番目のブロックの出力を待たずに勾配を受け取れます。著者によれば、この設計は前作の潜在モデル Linum v2 より 11 倍少ないサンプルで収束します。比べている相手は自分たちの基準モデルなので、この倍率は請求書の付いた主張として扱うのが妥当です。

多くの公開が省く部分

P-JiT は文字を描けません。Linum は訓練データから、描画された文字を含む画像を除きました。ポスターも看板もインフォグラフィックも、読めるラベルの付いた製品パッケージもありません。文字を求めるプロンプトは、崩れた字形を出す前にプロンプト・アップサンプラの側で弾かれます。

全身、物や人が多く入る場面、人どうしのやりとり、一般的な世界知識も苦手です。実験ノートには失敗例が載っています。関節が逆に曲がる手足、互いに溶け合う物体です。Linum 自身の見立ては、7B モデルと事後訓練の増加が効くだろうというもので、拡散モデルの事後訓練を「とても若い分野」と呼んでいます。

FID スコアも、人間の選好率も、FLUX 3 Image や Qwen-Image 2.1 との直接対決もありません。あるのは 249 枚のギャラリーと、20,480 枚の正方形画像での検証損失の曲線です。80 million サンプルのところで 0.157 まで跳ねる山があり、これはノイズスケジュールを広げたときのものです。

公開ギャラリーと公開の失敗一覧という組み合わせは、本来よりずっと珍しいものです。選ばれたギャラリーは、そのチームが考える上限を教えてくれます。失敗一覧は、そのチームが考える誠実さを教えてくれます。

誰も予想しなかった開示

公開の奥に、それだけで議論を呼んだ一行があります。リポジトリとモデルカードは Claude Opus 5.5 が Linum の内部実験コードから書き、兄弟の二人が出力を確認した、というものです。

読み方は二つに分かれます。片方はスロップのリスクを見ます。モデルが書いたモデルカードです。もう片方は、高くついた部分に目を向けます。借りた 64 台の H100 と、訓練の途中で広げざるを得なかったノイズスケジュールは、自分が見ているものを理解した二人の人間がやった仕事です。コードが生成されたことは、この発表で最も驚く話ではありません。訓練が本物だったという点が、いちばん重い話です。

実際に手に入るもの

重みは 8.7 GB の fp32 DiT と、別にダウンロードする Qwen3.5-4B エンコーダです。generate.py はキーなしで動きます。モデルは 50 ステップの Euler サンプリング、適応的射影ガイダンスのスケール 15 で動き、1024 by 1024 から 1280 by 720 までの五つのサイズで出力します。

50 から 80 語の密なキャプションで訓練しているので、短いプロンプトでは大きく質が落ちます。補うために、リポジトリには OpenRouter 上の Claude Opus 5.5 を使って短いプロンプトを完全なキャプションに広げるアップサンプラが入っています。自分の言い回しがどう出るか見たい人向けに --no_upsample フラグもあります。

M4 Pro で動く MLX ポートもあり、リリースノートでは 1 枚 72 秒とされています。

開かれた重み、閉じたデータ

正確に言っておきたい区別が一つあります。ライセンスの言い回しはすぐ緩くなるからです。重みは Apache 2.0、推論コードは Apache 2.0、訓練データは公開されていません。つまり P-JiT は open weights であって、厳密な意味での open source ではありません。多くの「オープン」な画像モデルが置かれているのと同じ位置です。動かすことはでき、微調整もでき、商用製品に組み込むこともできます。訓練を再現することはできません。

微調整する人にとっての実際の影響は、凍結した Qwen3.5-4B エンコーダが意味づけの仕事の多くを担っていて、その上の DiT が 50 から 80 語のキャプションで訓練されていることです。自分のデータが密な記述的キャプションとまるで違うなら、たとえば六語のラベルが付いた製品 SKU なら、モデルはあなたのところまで来るために事後訓練を必要とします。Linum 自身の言い方は、拡散モデルの事後訓練は若い分野だというもので、これは道具が未熟で結果もばらつく、という婉曲な言い方です。

$21K のチェックポイントがなぜ効くのか

制作の現場がこれを理由に何かを入れ替えるべきではありません。パッケージに読める文字が必要なら、今日の P-JiT は間違った道具です。Linum はダウンロードの前にそう書いています。

価値は別のところにあります。二人が、借りたクラスタと公開されたレシピで、中古車一台の値段で使える 2B の画像モデルを作りました。ハイパーパラメータはすべてページに載っています。損失、ノイズスケジュール、オプティマイザの設定、バッチサイズ、EMA の半減期です。ピクセル空間の拡散を研究したい人や、狭い領域で小さなモデルを微調整したい研究グループにとって、これは一年前には存在しなかった出発点です。

コストについての会話も変わります。最先端のラボが画像モデルを出しても、計算量の数字は噂です。ここでは $2.50 かける 8,415 で、算数は自分で確かめられます。

面白いのは、レシピと落とし穴と失敗の型が全部公開された今、次の二人組が同じ予算で何をするかです。

関連記事

Pinky は agent に自分のスマホを操作させる。送信ボタンは、あなたが許可を押すまで押さえたまま

Pinky はどんな MCP agent でも本物の iPhone や Android につなぎ、承認をプロンプトではなく自前のゲートウェイで強制する。銀行アプリは見えず、パスワード欄は通行止め、Android 13 では agent に隠れた2枚目の画面が渡される。

サーバー1台、AI配信者1人:夜のライブ配信を動かすコードの中身

open-yoki は、毎晩 Binance Square で配信する AI ホストの本番コードで、人格・声・お金に関わる機能は取り除かれています。headless Chrome がフレームを描き、ffmpeg が RTMP を押し、Markdown フォルダが彼女の気分と投稿内容を決めます。

SoduWork の依頼は、チャットが止まったときではなく、依頼した人が承認したときに終わる

SoduWork はセルフホストのワークベンチだ。依頼には着手前に受け入れ基準が書かれ、納品は別の harness がレビューし、最後は人が承認する。うまくいった進め方はプラグインとして保存され、チームの他の人がそのまま実行できる。

世界の法律を git に入れた人がいる。だから法令も blame できる

global-law は各国の法令を git リポジトリとして持ち、1 つの commit が既知の日に効力を持った 1 つの法律にあたる。条文に対して log、blame、show、diff を実行でき、ある日の各国の施行状況を調べ、コーパス全体を MCP 経由でアシスタントに渡せる。