两个人的实验室花了 $21,038 训出一个图像模型,它写不出一个字

Linum 是两个人。Sahil 和 Manu Chopra 从零训练视频模型,公开实验笔记,没兴趣把研究 checkpoint 说成产品。11 月 4 日,他们把一套文生图模型放上 Hugging Face,权重 Apache 2.0,GitHub 仓库不用 API key 就能跑,博客里附了账单。
账单上写着 $21,038。
这个数字让文章在 Hacker News 拿到 235 分,一周内被四份 newsletter 逐条拆解。多数开源图像模型出场带新闻稿和榜单名次。这一个带的是 8,415 个 H100 小时、每小时 $2.50、FSDP2 下的 64 张 GPU,还有一份它做不好的 prompt 清单。
钱花在了哪里
预训练 $20,348:8,139 个 H100 小时,512 像素上跑 610 million 个样本,再在 1024 上跑 50 million 个。后训练加 276 小时,合 $690,用 Finite Difference Flow Optimization 的变体,评委一半自动一半人工。
模型叫 P-JiT 21K,Pyramid-JiT 的缩写。采样时 2.18B 参数,训练时约 2.42B,多出的权重属于训练完就丢的 head。文本编码器是冻结的 Qwen3.5-4B,取第 7、15、27 层。
两个架构选择解释了账单为什么这么低,都跟 token 有关。
没有 VAE。你能叫出名字的图像模型几乎都是 latent diffusion:自编码器把图像压进紧凑空间,diffusion transformer 在里面学生成,解码器再把 latent 变回像素。P-JiT 删掉流水线两端,直接在原始像素上工作。
patch 也更粗。图像切成 32 by 32 像素的块,每块是 3,072 维的 RGB 向量,投影到 1,024 维。多数 latent 模型用 16 by 16。512 by 512 的图在这里是 256 个 image token,不是 1,024 个,attention 开销随 token 数的平方下降。token 少四倍,attention 计算少十六倍。

第三个技巧是监督。主干第 10、16 块之后的 readout head 预测四分之一和一半分辨率的干净图像,浅层因此拿到梯度信号,不用等第 22 块的输出。作者说这个架构比上一代 latent 模型 Linum v2 少 11 倍样本收敛。比较对象是他们自己的基线,这个倍数只能算附了账单的说法,不是普适规律。
大多数发布省略的部分
P-JiT 写不出文字。Linum 把训练数据里带渲染文字的图过滤掉了,没有海报、标牌、信息图,也没有带清晰标签的产品包装。要求写字的 prompt 会被 prompt upsampler 挡掉,不会生成乱码字形。
完整人体、物件或人物很多的场景、人与人的互动、一般性的世界知识,它也吃力。实验笔记给了失败例子:肢体弯错方向,物件互相融在一起。Linum 猜 7B 模型加更多后训练会有帮助,并把 diffusion 的后训练叫作「一门非常年轻的学科」。
没有 FID 分数,没有人类偏好率,没有跟 FLUX 3 Image 或 Qwen-Image 2.1 的对比。有的只是一个 249 张的 gallery,和一条跑在 20,480 张方图上的 validation loss 曲线,80 million 样本处有个 0.157 的尖峰,那是噪声 schedule 放宽的时候。
公开 gallery 加公开失败清单,这种组合比它本该有的稀有。精挑的 gallery 说明团队自认的上限。失败清单说明它自认的诚实。
没人预料到的披露
发布里埋了一句话,自己长出一整个讨论串:仓库和 model card 是 Claude Opus 5.5 照着 Linum 的内部实验代码写的,两兄弟都审了输出。
读法有两种。一边看到 slop 风险,一份模型写的 model card。另一边注意到贵的那部分,64 张租来的 H100,一次必须在训练中途放宽的噪声 schedule,还是两个看得懂自己在看什么的人做的。代码是生成的,这不稀奇。训练是真的,这才是信息。
你实际拿到的东西
权重是 8.7 GB 的 fp32 DiT,加一个单独下载的 Qwen3.5-4B 编码器。generate.py 不用 key。模型用 50 步 Euler 采样,adaptive projected guidance 的 scale 是 15,输出五种尺寸,从 1024 by 1024 到 1280 by 720。
训练用的是 50 到 80 词的密集 caption,短 prompt 掉得厉害。仓库为此带了个 upsampler,走 OpenRouter 上的 Claude Opus 5.5 把短 prompt 扩成完整 caption。另有一个 --no_upsample flag,给想看看自己原话效果的人。
还有 MLX 移植版,能在 M4 Pro 上跑,release notes 给的时间是每张 72 秒。
开放权重,封闭数据
有个区分值得说清楚,许可的措辞很容易说糊。权重 Apache 2.0,推理代码 Apache 2.0,训练数据没放。所以 P-JiT 是 open weights,严格意义上不算 open source,多数「开放」图像模型都在这个位置。你能跑、能微调、能塞进商业产品,不能复现那次训练。
想微调的人要面对的实际后果是:冻结的 Qwen3.5-4B 编码器承担了很多语义工作,上面的 DiT 是拿 50 到 80 词的 caption 训的。如果你的数据不像密集描述性 caption,比如六个词标签的产品 SKU,模型就得靠后训练才能对上你的场景。Linum 的说法是 diffusion 的后训练是一门年轻学科,客气地讲,工具还不成熟,结果也不稳定。
一个 $21K 的 checkpoint 为什么重要
生产团队不该为这个换掉任何东西。要在包装上有清晰可读的文字,P-JiT 今天就是错的工具,Linum 在你下载前就说了。
价值在别处。两个人,一个租来的集群,一份公开的配方,做出能用的 2B 图像模型,价格是一辆二手车,每个超参都在页面上:loss、噪声 schedule、optimizer 设置、batch size、EMA 半衰期。想研究 pixel-space diffusion 或在窄领域微调小模型的研究组,一年前没有这个起点。
它也重置了关于成本的对话。前沿实验室发图像模型,算力数字是传闻。这里是 $2.50 乘 8,415,算术可以自己验。
有意思的问题是,配方、坑和失败模式都公开了,下一个两人实验室会拿同样的预算做什么。
相关文章
「宿命感拉满的橘子海剪影」:一句提示词把情绪拆成了参数
11 月 19 日到 20 日,小红书和抖音同时刷起「橘子海剪影」。点进去会发现多数人并没有站在落日下,他们把自己的一张照片交给豆包,出来的是一张 3:4 竖版情绪海报。这套氛围被拆成了十几个写得明明白白的参数。
ByteDance 的 SeedRealtime 每秒只取两帧,再自己决定什么时候开口
豆包 Seed-Realtime-1.0 把摄像头画面、屏幕画面和语音合成一个全双工会话,每秒最多推两帧。有意思的决定是帧率、主动说话,以及默认就开着的审核回复。
Cicada 直接听会议的系统音频,会议室里没有机器人
Cicada 是 Mac、Windows、Linux 和 Android 上的免费应用,从系统音频里写出双语字幕和结构化会议笔记。按住一个键,你能用自己克隆出来的声音,把回复用另一种语言说出去。整个过程里没有机器人加入通话。
一台 server、一个 AI 主播:夜间直播背后的代码
open-yoki 是一个每晚在 Binance Square 直播的 AI 主播的生产代码,人格、声音和跟钱有关的功能都拿掉了。headless Chrome 画帧,ffmpeg 推 RTMP,一个 Markdown 文件夹决定她的情绪和要发的东西。