← 返回部落格
Ai預計閱讀 7 分鐘

兩個人的實驗室花了 $21,038 訓出一個圖像模型,它寫不出一個字

發布於 2026年11月13日
兩個人的實驗室花了 $21,038 訓出一個圖像模型,它寫不出一個字

Linum 是兩個人。Sahil 和 Manu Chopra 從零訓練影片模型,公開實驗筆記,沒興趣把研究 checkpoint 說成產品。11 月 4 日,他們把一套文生圖模型放上 Hugging Face,權重 Apache 2.0,GitHub 儲存庫不用 API key 就能跑,部落格裡附了帳單。

帳單上寫著 $21,038。

這個數字讓文章在 Hacker News 拿到 235 分,一週內被四份電子報逐條拆解。多數開源圖像模型出場帶新聞稿和排行榜名次。這一個帶的是 8,415 個 H100 小時、每小時 $2.50、FSDP2 下的 64 張 GPU,還有一份它做不好的 prompt 清單。

錢花在哪裡

預訓練 $20,348:8,139 個 H100 小時,512 像素上跑 610 million 個樣本,再在 1024 上跑 50 million 個。後訓練加 276 小時,合 $690,用 Finite Difference Flow Optimization 的變體,評審一半自動一半人工。

模型叫 P-JiT 21K,Pyramid-JiT 的縮寫。取樣時 2.18B 參數,訓練時約 2.42B,多出的權重屬於訓練完就丟的 head。文字編碼器是凍結的 Qwen3.5-4B,取第 7、15、27 層。

兩個架構選擇解釋了帳單為什麼這麼低,都跟 token 有關。

沒有 VAE。你能叫出名字的圖像模型幾乎都是 latent diffusion:自編碼器把圖像壓進緊湊空間,diffusion transformer 在裡面學生成,解碼器再把 latent 變回像素。P-JiT 刪掉流水線兩端,直接在原始像素上工作。

patch 也更粗。圖像切成 32 by 32 像素的區塊,每塊是 3,072 維的 RGB 向量,投影到 1,024 維。多數 latent 模型用 16 by 16。512 by 512 的圖在這裡是 256 個 image token,不是 1,024 個,attention 開銷隨 token 數的平方下降。token 少四倍,attention 計算少十六倍。

空蕩的混凝土倉庫裡,一盞工作燈下孤零零立著的小型伺服器機架

第三個技巧是監督。主幹第 10、16 塊之後的 readout head 預測四分之一和一半解析度的乾淨圖像,淺層因此拿到梯度訊號,不用等第 22 塊的輸出。作者說這個架構比上一代 latent 模型 Linum v2 少 11 倍樣本收斂。比較對象是他們自己的基線,這個倍數只能算附了帳單的說法,不是普適規律。

大多數發布省略的部分

P-JiT 寫不出文字。Linum 把訓練資料裡帶渲染文字的圖過濾掉了,沒有海報、標示牌、資訊圖表,也沒有帶清晰標籤的產品包裝。要求寫字的 prompt 會被 prompt upsampler 擋掉,不會生成亂碼字形。

完整人體、物件或人物很多的場景、人與人的互動、一般性的世界知識,它也吃力。實驗筆記給了失敗例子:肢體彎錯方向,物件互相融在一起。Linum 猜 7B 模型加更多後訓練會有幫助,並把 diffusion 的後訓練叫作「一門非常年輕的學科」。

沒有 FID 分數,沒有人類偏好率,沒有跟 FLUX 3 Image 或 Qwen-Image 2.1 的對比。有的只是一個 249 張的 gallery,和一條跑在 20,480 張方圖上的 validation loss 曲線,80 million 樣本處有個 0.157 的尖峰,那是雜訊排程放寬的時候。

公開 gallery 加公開失敗清單,這種組合比它該有的稀有。精挑的 gallery 說明團隊自認的上限。失敗清單說明它自認的誠實。

沒人預料到的揭露

發布裡埋了一句話,自己長出一整個討論串:儲存庫和 model card 是 Claude Opus 5.5 照著 Linum 的內部實驗程式碼寫的,兩兄弟都審了輸出。

讀法有兩種。一邊看到 slop 風險,一份模型寫的 model card。另一邊注意到貴的那部分,64 張租來的 H100,一次必須在訓練中途放寬的雜訊排程,還是兩個看得懂自己在看什麼的人做的。程式碼是生成的,這不稀奇。訓練是真的,這才是資訊。

你實際拿到的東西

權重是 8.7 GB 的 fp32 DiT,加一個單獨下載的 Qwen3.5-4B 編碼器。generate.py 不用 key。模型用 50 步 Euler 取樣,adaptive projected guidance 的 scale 是 15,輸出五種尺寸,從 1024 by 1024 到 1280 by 720。

訓練用的是 50 到 80 字的密集 caption,短 prompt 掉得很厲害。儲存庫為此帶了個 upsampler,走 OpenRouter 上的 Claude Opus 5.5 把短 prompt 擴成完整 caption。另有一個 --no_upsample flag,給想看看自己原話效果的人。

還有 MLX 移植版,能在 M4 Pro 上跑,release notes 給的時間是每張 72 秒。

開放權重,封閉資料

有個區分值得說清楚,授權的措辭很容易說糊。權重 Apache 2.0,推論程式碼 Apache 2.0,訓練資料沒放。所以 P-JiT 是 open weights,嚴格意義上不算 open source,多數「開放」圖像模型都在這個位置。你能跑、能微調、能塞進商業產品,不能重現那次訓練。

想微調的人要面對的實際後果是:凍結的 Qwen3.5-4B 編碼器承擔了很多語意工作,上面的 DiT 是拿 50 到 80 字的 caption 訓的。如果你的資料不像密集描述性 caption,比如六個字標籤的產品 SKU,模型就得靠後訓練才能對上你的場景。Linum 的說法是 diffusion 的後訓練是一門年輕學科,客氣地講,工具還不成熟,結果也不穩定。

一個 $21K 的 checkpoint 為什麼重要

生產團隊不該為這個換掉任何東西。要在包裝上有清晰可讀的文字,P-JiT 今天就是錯的工具,Linum 在你下載前就說了。

價值在別處。兩個人,一個租來的叢集,一份公開的配方,做出能用的 2B 圖像模型,價格是一輛中古車,每個超參數都在頁面上:loss、雜訊排程、optimizer 設定、batch size、EMA 半衰期。想研究 pixel-space diffusion 或在窄領域微調小模型的研究組,一年前沒有這個起點。

它也重啟了關於成本的對話。前沿實驗室發圖像模型,算力數字是傳聞。這裡是 $2.50 乘 8,415,算術可以自己驗。

有意思的問題是,配方、坑和失敗模式都公開了,下一個兩人實驗室會拿同樣的預算做什麼。

相關文章