Pangram 的图像检测报了 99.96%,测试集也是它自己建的

Pangram Labs 发布图像检测器那一周,地球两端各有一位摄影师在跟陌生人争自己的照片到底是不是真的。
新西兰这边,天文摄影师 Brendan Larsen 九月在塔拉纳基山上守了两个小时,拍了 578 帧,之后又花大约 45 小时在 Photoshop 里叠加。大部分时间用在擦星星上,这样大约 1,400 颗卫星和 14,000 条轨迹才会显出来。图在十月中旬发出去,几千万次浏览,其中一部分人说是 AI 做的。他早有准备,把拍摄过程录下来一并发了,现在的情况就是这样:把图做出来只算容易的那一半。
英格兰那边,摄影师 Dave Wilson 看到账号 Aerial Perspectives 发的 Whitehaven 灯塔风暴照,判断当时的飞行条件根本拍不出这张。他把文件丢进 OpenAI 的 Verify 服务,那个服务查 C2PA 元数据和 SynthID 水印,结果命中了。再翻这个账号的其他作品,几乎全被标了出来。公司把风暴那张归咎于一位前团队成员,承认它不该被当作摄影作品呈现,但否认整个作品集是合成的,解释说他们通过 ChatGPT 加水印,所以才会出现 SynthID。
最后这个解释,往好了说是对工作流的合理描述,往坏了说是方便得过分,而市面上没有一个检测器能判定它属于哪一种。
Pangram 这次发了什么
Pangram 靠文本检测起家。十一月初的同一周,它用两个模型把业务扩到了图像和视频。
Pangram Image 1.0 是主力。卖点是检测能扛住压缩、小文件和局部修改,而这正是网上流传的多数图像的真实状态。最小分辨率降到了 256×256 像素,不过公司标明,图片短边低于 512 像素时结果会不够可靠。
Image Flash 1.0 是更小的那个模型,处理视频时逐帧跑。
有意思的地方在准确率。Image 1.0 的 99.96% 来自 Pangram 自建的数据集:让 12 个前沿图像生成器为 100 张真实照片生成了 1,200 张对应图。Flash 1.0 在 DF26 上拿到 98.7%,那是 Pangram 引用的一项研究;它还在自己那套 1,529 条视频的测试集上赢过几家主流检测服务。
报道这次发布的德国媒体 heise 直说,这些数字没有一个经过独立验证。
测试集才是全部争论所在
一个检测器声称的准确率,取决于它拿什么图来测。Pangram 的主力数字来自一个平衡数据集,每张真实照片配十二张合成孪生图,一个生成器一张,实验设计很干净。这也意味着模型的成绩是在公司自己挑的那十二个工具上评出来的,公布的数字对第十三个工具的表现一个字都没说。
这话对 Pangram 有点苛刻,因为几乎所有检测厂商都是这么报数的。也正因为如此,99.96% 这种数字最老实的读法是:它是在良好条件下测出来的上限,别当成实际场景的估计。
还有第二个理由让人别把这个数字攥太紧。欧盟 AI 法案的透明度要求从 2026 年 8 月起分批生效,披露正在从客气变成合规义务。监管会制造对数字的需求,买方需要一个能指着说的数。厂商自己报自己的数,是这种需求下可预期的结果,没跟上的是独立评测。
256 像素这条线比标题更值得看
准确率声明底下埋着一个更有用的工程细节。多数检测系统都想要一张像样的图。社交平台会把所有东西重新压缩、裁切、缩小,所以一个能处理 256 像素缩略图的检测器,跟一个必须要原始文件的检测器,做的是两件不同的事。

它下面的限制同样实际。短边低于 512 像素时,Pangram 说结果会变得没那么可靠。也就是说模型会对一小块裁切图给出判断,同时告诉你这个判断不太稳。
做核查的人会明白,这个组合比单一准确率数字有用。面对一张裁得很狠的截图,肯说「我不知道」的检测器,比一个永远有答案的检测器更可靠。
视频那半边更难
图像检测受关注是因为争吵都发生在那里,但差距最大的地方一直是视频。一段生成的片子就是几百帧,像素级的水印得扛住重新编码、裁成竖屏,以及社交平台在上传时对它做的任何处理。
Pangram 的办法是用 Flash 1.0 逐帧查。这比把整段视频当成一个对象处理要便宜,产出的是一个分布而不是单一结论,也更接近人工复核的方式:拖进度条,在可疑处停下,凑近看。
它带来的细微变化是,一段部分生成的视频现在有了可量化的答案,而不再是简单的有或没有。广告和短视频制作都依赖混合素材,真实的底片加上生成的插入镜头,而对披露规则来说,真正要紧的问题是合成的帧占多少比例。
检测能做什么,不能做什么
Aerial Perspectives 这个案例把边界摆得很清楚。水印命中是强证据,说明有生成模型碰过这个文件。干净的结果什么都证明不了,因为检测器只认它跟踪的合作方水印,在别处生成的图查出来就是干净的。Cult of Mac 在写苹果于 iOS 27.2 给 Image Playground 加上 SynthID 时说过同一件事:这个检查是单向的。
这种不对称让图片编辑的实际流程从一步变成三步。先用 OpenAI Verify 或 Google 的 About This Image 面板查来源元数据,文件带 C2PA 数据时那里会显示出来。然后反向搜图,找最早出现的那一次。最后看画面本身,因为手、文字和首饰透露的东西仍然比任何分类器都多。
Larsen 的案例补上了没人解决的那一块。一张由 578 帧叠出来的真实照片看起来像合成的,因为这个过程产出的东西眼睛从没见过。检测模型没有这一类,留言的人也没有。
Pangram 这次发布是实打实的一步。视频检测尤其薄弱,一个逐帧模型能做到这个价位,确实补了个缺口。接下来几个月值得盯的,是 Pangram 之外有没有人公布一个跟它吻合的数字。
相关文章
「宿命感拉满的橘子海剪影」:一句提示词把情绪拆成了参数
11 月 19 日到 20 日,小红书和抖音同时刷起「橘子海剪影」。点进去会发现多数人并没有站在落日下,他们把自己的一张照片交给豆包,出来的是一张 3:4 竖版情绪海报。这套氛围被拆成了十几个写得明明白白的参数。
ByteDance 的 SeedRealtime 每秒只取两帧,再自己决定什么时候开口
豆包 Seed-Realtime-1.0 把摄像头画面、屏幕画面和语音合成一个全双工会话,每秒最多推两帧。有意思的决定是帧率、主动说话,以及默认就开着的审核回复。
Cicada 直接听会议的系统音频,会议室里没有机器人
Cicada 是 Mac、Windows、Linux 和 Android 上的免费应用,从系统音频里写出双语字幕和结构化会议笔记。按住一个键,你能用自己克隆出来的声音,把回复用另一种语言说出去。整个过程里没有机器人加入通话。
一台 server、一个 AI 主播:夜间直播背后的代码
open-yoki 是一个每晚在 Binance Square 直播的 AI 主播的生产代码,人格、声音和跟钱有关的功能都拿掉了。headless Chrome 画帧,ffmpeg 推 RTMP,一个 Markdown 文件夹决定她的情绪和要发的东西。