← 返回博客
Ai预计阅读 7 分钟

两个人的实验室花了 $21,038 训出一个图像模型,它写不出一个字

发布于 2026年11月13日
两个人的实验室花了 $21,038 训出一个图像模型,它写不出一个字

Linum 是两个人。Sahil 和 Manu Chopra 从零训练视频模型,公开实验笔记,没兴趣把研究 checkpoint 说成产品。11 月 4 日,他们把一套文生图模型放上 Hugging Face,权重 Apache 2.0,GitHub 仓库不用 API key 就能跑,博客里附了账单。

账单上写着 $21,038。

这个数字让文章在 Hacker News 拿到 235 分,一周内被四份 newsletter 逐条拆解。多数开源图像模型出场带新闻稿和榜单名次。这一个带的是 8,415 个 H100 小时、每小时 $2.50、FSDP2 下的 64 张 GPU,还有一份它做不好的 prompt 清单。

钱花在了哪里

预训练 $20,348:8,139 个 H100 小时,512 像素上跑 610 million 个样本,再在 1024 上跑 50 million 个。后训练加 276 小时,合 $690,用 Finite Difference Flow Optimization 的变体,评委一半自动一半人工。

模型叫 P-JiT 21K,Pyramid-JiT 的缩写。采样时 2.18B 参数,训练时约 2.42B,多出的权重属于训练完就丢的 head。文本编码器是冻结的 Qwen3.5-4B,取第 7、15、27 层。

两个架构选择解释了账单为什么这么低,都跟 token 有关。

没有 VAE。你能叫出名字的图像模型几乎都是 latent diffusion:自编码器把图像压进紧凑空间,diffusion transformer 在里面学生成,解码器再把 latent 变回像素。P-JiT 删掉流水线两端,直接在原始像素上工作。

patch 也更粗。图像切成 32 by 32 像素的块,每块是 3,072 维的 RGB 向量,投影到 1,024 维。多数 latent 模型用 16 by 16。512 by 512 的图在这里是 256 个 image token,不是 1,024 个,attention 开销随 token 数的平方下降。token 少四倍,attention 计算少十六倍。

空荡的混凝土仓库里,一盏作业灯下孤零零立着的小型服务器机架

第三个技巧是监督。主干第 10、16 块之后的 readout head 预测四分之一和一半分辨率的干净图像,浅层因此拿到梯度信号,不用等第 22 块的输出。作者说这个架构比上一代 latent 模型 Linum v2 少 11 倍样本收敛。比较对象是他们自己的基线,这个倍数只能算附了账单的说法,不是普适规律。

大多数发布省略的部分

P-JiT 写不出文字。Linum 把训练数据里带渲染文字的图过滤掉了,没有海报、标牌、信息图,也没有带清晰标签的产品包装。要求写字的 prompt 会被 prompt upsampler 挡掉,不会生成乱码字形。

完整人体、物件或人物很多的场景、人与人的互动、一般性的世界知识,它也吃力。实验笔记给了失败例子:肢体弯错方向,物件互相融在一起。Linum 猜 7B 模型加更多后训练会有帮助,并把 diffusion 的后训练叫作「一门非常年轻的学科」。

没有 FID 分数,没有人类偏好率,没有跟 FLUX 3 Image 或 Qwen-Image 2.1 的对比。有的只是一个 249 张的 gallery,和一条跑在 20,480 张方图上的 validation loss 曲线,80 million 样本处有个 0.157 的尖峰,那是噪声 schedule 放宽的时候。

公开 gallery 加公开失败清单,这种组合比它本该有的稀有。精挑的 gallery 说明团队自认的上限。失败清单说明它自认的诚实。

没人预料到的披露

发布里埋了一句话,自己长出一整个讨论串:仓库和 model card 是 Claude Opus 5.5 照着 Linum 的内部实验代码写的,两兄弟都审了输出。

读法有两种。一边看到 slop 风险,一份模型写的 model card。另一边注意到贵的那部分,64 张租来的 H100,一次必须在训练中途放宽的噪声 schedule,还是两个看得懂自己在看什么的人做的。代码是生成的,这不稀奇。训练是真的,这才是信息。

你实际拿到的东西

权重是 8.7 GB 的 fp32 DiT,加一个单独下载的 Qwen3.5-4B 编码器。generate.py 不用 key。模型用 50 步 Euler 采样,adaptive projected guidance 的 scale 是 15,输出五种尺寸,从 1024 by 1024 到 1280 by 720。

训练用的是 50 到 80 词的密集 caption,短 prompt 掉得厉害。仓库为此带了个 upsampler,走 OpenRouter 上的 Claude Opus 5.5 把短 prompt 扩成完整 caption。另有一个 --no_upsample flag,给想看看自己原话效果的人。

还有 MLX 移植版,能在 M4 Pro 上跑,release notes 给的时间是每张 72 秒。

开放权重,封闭数据

有个区分值得说清楚,许可的措辞很容易说糊。权重 Apache 2.0,推理代码 Apache 2.0,训练数据没放。所以 P-JiT 是 open weights,严格意义上不算 open source,多数「开放」图像模型都在这个位置。你能跑、能微调、能塞进商业产品,不能复现那次训练。

想微调的人要面对的实际后果是:冻结的 Qwen3.5-4B 编码器承担了很多语义工作,上面的 DiT 是拿 50 到 80 词的 caption 训的。如果你的数据不像密集描述性 caption,比如六个词标签的产品 SKU,模型就得靠后训练才能对上你的场景。Linum 的说法是 diffusion 的后训练是一门年轻学科,客气地讲,工具还不成熟,结果也不稳定。

一个 $21K 的 checkpoint 为什么重要

生产团队不该为这个换掉任何东西。要在包装上有清晰可读的文字,P-JiT 今天就是错的工具,Linum 在你下载前就说了。

价值在别处。两个人,一个租来的集群,一份公开的配方,做出能用的 2B 图像模型,价格是一辆二手车,每个超参都在页面上:loss、噪声 schedule、optimizer 设置、batch size、EMA 半衰期。想研究 pixel-space diffusion 或在窄领域微调小模型的研究组,一年前没有这个起点。

它也重置了关于成本的对话。前沿实验室发图像模型,算力数字是传闻。这里是 $2.50 乘 8,415,算术可以自己验。

有意思的问题是,配方、坑和失败模式都公开了,下一个两人实验室会拿同样的预算做什么。

相关文章