120 のアプリ、1 アプリ 1 フォルダ、そして誰も公開しない GPU の数字

Freefield は自分自身を一行で説明しています。ComfyUI の上で動くオープンソースの Higgsfield で、アプリは 1 つ 1 フォルダ、モデルはすべてオープンウェイトだ、という説明です。
この一文はかなり多くのことを引き受けていて、リポジトリはそれを最も地味な方法で裏づけています。120 のアプリを並べた表があります。各アプリはディレクトリで、`app.json` のマニフェストを 1 枚持ちます。Web UI、ランナー、モデルのダウンロード、VRAM マップ、テストは、すべてそのマニフェストから生成されます。マニフェストを書き換えれば、ブラウザのフォームも一緒に変わります。
箱の中身
メニューは商用製品の配置をそのまま写しています。これがこの企画の狙いです。画像、動画、VFX、音声の 4 スタジオがあり、動画メニューだけで 46 アプリを Create、Edit、Motion control、Templates の 4 グループに分けて抱えています。
120 のうち 119 が準備完了と表示されています。39 は独自のワークフローを持ちます。5 つは IC-LoRA アプリで、Genjutsu 風のキャラクター差し替え、リフレーミング、SDR から HDR への変換、ミックスメディア、吹き替えを担当します。1 つはモーフィングのアプリです。72 はテンプレートアプリで、固定のプロンプトを既存のパイプラインに流すだけのもので、手で作らずスクリプトで生成されています。2 つはモデルを使わないスモークテスト用で、CI 向けです。`moss-image` だけはまだドラフトです。
この内訳は見出しの数字より重要です。120 のアプリと言いながら、その実態が 72 のプロンプトプリセットだと明かすのは、プリセットとは何かについて正直だということです。
他のプロジェクトの読み方が変わる部分
Web UI の作例はすべて実際の GPU 実行で、リポジトリは実行ログも公開しています。10 月 20 日から 26 日にかけて Modal 上で 48 回の実験を L40S と H100 で回しました。733 ケースのうち 710 が ok で返ってきました。
つまり 96.9% で、通らなかった 23 件は削除されずに一覧に残っています。
エンドツーエンドの所要時間も同じように公開されています。10 月 23 日、ブラウザから Web UI、サーバー、Modal 上のゲートウェイ、H100 上の ComfyUI という経路で、`morph` アプリはボタンを押してから動画が完成するまで 160.8 秒、うち 128.7 秒が GPU 上でした。`mixed-media` は 149 秒、`dub` は 72 秒。翌日、`face-swap` は GPU 上で 25.2 秒を使いました。
VRAM のピークはアプリごとに、動かした GPU と一緒に書かれています。`cinema-video` は L40S で 44.3 GB 必要です。`h3-video` はテキストエンコーダだけで 27.1 GB を使います。MiniMax H3 に MoGe と CrossView を組み合わせて別角度から撮り直す `reshoot` は、48 GB のカードで 44.2 GB まで達します。
README を見て GPU のレンタル規模を見積もろうとした人なら、これがどれだけ珍しいか分かるはずです。ほとんどのプロジェクトはモデルを教えてくれます。モデルの周りにあるパイプラインのメモリピークを教えてくれるところはごく少数で、カードが足りるかどうかを決めるのはまさにその数字です。

先に見る価値のあるアプリ
`cinema-video` は 1 つのグラフで 2 つのモデルをつなぎます。FLUX 3 Image Klein の静止画が LTX-2.5 の image-to-video の 1 フレーム目になり、カメラワークは 33 個のリストから最大 3 つを選び、選んだ順に書かれます。実験ノートには真似する価値のある発見が 1 つあります。カメラワーク 1 つなら保つけれど、2 つ重ねると順序が崩れるということです。こういう細部は実際に動かして初めて出てきます。
`h3-video` と `h3-photo` は Comfy のテンプレートで MiniMax H3 を int8 で動かし、テキストか写真から、話し声、効果音、音楽の入ったクリップを作ります。20 ステップ、turbo LoRA は使いません。`extend-video` は既存クリップの最終フレームを受け取り、その音声ごと先へ続けます。`reshoot` は撮り終わったショットのカメラアングルを変え、再投影でできた穴を埋めます。
画像側は現行のオープンモデルを並べた棚になっています。アップサンプラーありとなしの FLUX 3 Klein、Z-Image Turbo、Krea 2 Turbo、MOSS-Image。リポジトリは同じ 6 つのプロンプトを各モデルで流し、フレームごとに GPU 秒数と VRAM ピークを印字し、さらにこう添えています。Modal の基本料金 1 時間 $1.95 で、画像 1 枚はおよそ $0.007 だということです。
インストール
経路は 2 つで、どちらも文書化されています。
Modal を使う場合。Node 22.6+、Python 3.10+、Modal アカウントが必要です。まず `python tools/doctor.py` を実行します。何が足りないか、Modal にログインしているか、シークレットがあるか、どの制限付き Hugging Face ライセンスをまだ承諾していないかを報告してくれます。次に `python tools/setup_token.py` でゲートウェイのトークンを発行し、`modal secret create huggingface HF_TOKEN=...`、`python tools/catalog.py packs` でダウンロードパックを構築し、`modal run infra/modal_app.py::download --pack image` で重みを取得、`modal deploy infra/modal_app.py` でデプロイ、`npm install && npm run serve` でポート 3000 に UI を立ち上げます。
Modal を使わない場合。`python tools/local_backend.py setup ~/freefield-comfy` が、固定したコミットの ComfyUI と固定バージョンのカスタムノードを、Comfy API プロキシとトークンゲートウェイ付きで導入します。あとはパックをローカルに落とし、バックエンドを動かし、同じ Web アプリを起動します。アプリの表には 24 GB のカードに収まるかどうかの列があります。
ブラウザを使わず、ターミナルからアプリを直接動かすこともできます。`a red bicycle against a white wall` のようなプロンプトで create-image アプリを呼ぶだけです。
縫い目が見えるところ
重い処理はどれも Modal への依存が実際にあります。いくつかのアプリは VRAM の数字の横に「needs Modal」と書いていて、これはコンシューマー向けのカードには収まらないという婉曲な言い方です。手元の 4090 でやるつもりなら、重みを落とす前に 24 GB の列をよく読んでください。
ゲートウェイのトークンと、アプリごとのアンロード動作には理由があります。ベースモデルが違う 2 つのアプリの間で、ゲートウェイが ComfyUI の解放エンドポイントを呼び、前のアプリのものがメモリに残らないようにしています。現実の問題にガムテープで対処した形で、その代償としてコールドスタートが体験の一部になります。
テンプレートアプリはカタログで一番弱い部分です。既存のパイプラインに固定プロンプトを乗せただけの 72 件は、コードがあると思ってフォルダを開いた人には水増しにしか見えません。エンジニアリングが生きているのは、独自ワークフローを持つ 39 のアプリのほうです。
ライセンスの疑問も残ります。リポジトリは提起していますが、答えは出していません。人物の LoRA は GPU を数十分占有し、請求は誰かの Modal アカウントに届きます。人の顔の LoRA はユーザーごとに、同意を得たうえで保存する必要があります。README はこれを未解決の課題として挙げています。勘は正しく、そしてまだ片づいていません。
午後をかける価値がある理由
AI スタジオという分野は、中身を隠す製品と、デモと壊れたインストールスクリプトだけを見せるオープンソースの模造品で溢れています。Freefield はそのどちらでもない第三の場所にいます。配管をさらし、失敗率を公開し、請求書を出力の隣に印字します。
この組み合わせのおかげで、一度も動かさなくても役に立ちます。VRAM マップだけでも自前のメディアパイプラインを計画する人にとっての参考資料になりますし、アプリごとの時間とメモリの数字は、多くのベンダーが自社のマーケティングが悪く見えるという理由で公開しない種類のデータです。
ラボ自身の言い方は、他の場所にも当てはめられる良いテストです。すべての作例は実際の実行です。プロジェクトがそう言えないなら、その作例は何なのかを聞くべきです。
関連記事
Pinky は agent に自分のスマホを操作させる。送信ボタンは、あなたが許可を押すまで押さえたまま
Pinky はどんな MCP agent でも本物の iPhone や Android につなぎ、承認をプロンプトではなく自前のゲートウェイで強制する。銀行アプリは見えず、パスワード欄は通行止め、Android 13 では agent に隠れた2枚目の画面が渡される。
サーバー1台、AI配信者1人:夜のライブ配信を動かすコードの中身
open-yoki は、毎晩 Binance Square で配信する AI ホストの本番コードで、人格・声・お金に関わる機能は取り除かれています。headless Chrome がフレームを描き、ffmpeg が RTMP を押し、Markdown フォルダが彼女の気分と投稿内容を決めます。
SoduWork の依頼は、チャットが止まったときではなく、依頼した人が承認したときに終わる
SoduWork はセルフホストのワークベンチだ。依頼には着手前に受け入れ基準が書かれ、納品は別の harness がレビューし、最後は人が承認する。うまくいった進め方はプラグインとして保存され、チームの他の人がそのまま実行できる。
世界の法律を git に入れた人がいる。だから法令も blame できる
global-law は各国の法令を git リポジトリとして持ち、1 つの commit が既知の日に効力を持った 1 つの法律にあたる。条文に対して log、blame、show、diff を実行でき、ある日の各国の施行状況を調べ、コーパス全体を MCP 経由でアシスタントに渡せる。