← 返回博客
Ai预计阅读 8 分钟

Pangram 的图像检测报了 99.96%,测试集也是它自己建的

发布于 2026年11月14日
Pangram 的图像检测报了 99.96%,测试集也是它自己建的

Pangram Labs 发布图像检测器那一周,地球两端各有一位摄影师在跟陌生人争自己的照片到底是不是真的。

新西兰这边,天文摄影师 Brendan Larsen 九月在塔拉纳基山上守了两个小时,拍了 578 帧,之后又花大约 45 小时在 Photoshop 里叠加。大部分时间用在擦星星上,这样大约 1,400 颗卫星和 14,000 条轨迹才会显出来。图在十月中旬发出去,几千万次浏览,其中一部分人说是 AI 做的。他早有准备,把拍摄过程录下来一并发了,现在的情况就是这样:把图做出来只算容易的那一半。

英格兰那边,摄影师 Dave Wilson 看到账号 Aerial Perspectives 发的 Whitehaven 灯塔风暴照,判断当时的飞行条件根本拍不出这张。他把文件丢进 OpenAI 的 Verify 服务,那个服务查 C2PA 元数据和 SynthID 水印,结果命中了。再翻这个账号的其他作品,几乎全被标了出来。公司把风暴那张归咎于一位前团队成员,承认它不该被当作摄影作品呈现,但否认整个作品集是合成的,解释说他们通过 ChatGPT 加水印,所以才会出现 SynthID。

最后这个解释,往好了说是对工作流的合理描述,往坏了说是方便得过分,而市面上没有一个检测器能判定它属于哪一种。

Pangram 这次发了什么

Pangram 靠文本检测起家。十一月初的同一周,它用两个模型把业务扩到了图像和视频。

Pangram Image 1.0 是主力。卖点是检测能扛住压缩、小文件和局部修改,而这正是网上流传的多数图像的真实状态。最小分辨率降到了 256×256 像素,不过公司标明,图片短边低于 512 像素时结果会不够可靠。

Image Flash 1.0 是更小的那个模型,处理视频时逐帧跑。

有意思的地方在准确率。Image 1.0 的 99.96% 来自 Pangram 自建的数据集:让 12 个前沿图像生成器为 100 张真实照片生成了 1,200 张对应图。Flash 1.0 在 DF26 上拿到 98.7%,那是 Pangram 引用的一项研究;它还在自己那套 1,529 条视频的测试集上赢过几家主流检测服务。

报道这次发布的德国媒体 heise 直说,这些数字没有一个经过独立验证。

测试集才是全部争论所在

一个检测器声称的准确率,取决于它拿什么图来测。Pangram 的主力数字来自一个平衡数据集,每张真实照片配十二张合成孪生图,一个生成器一张,实验设计很干净。这也意味着模型的成绩是在公司自己挑的那十二个工具上评出来的,公布的数字对第十三个工具的表现一个字都没说。

这话对 Pangram 有点苛刻,因为几乎所有检测厂商都是这么报数的。也正因为如此,99.96% 这种数字最老实的读法是:它是在良好条件下测出来的上限,别当成实际场景的估计。

还有第二个理由让人别把这个数字攥太紧。欧盟 AI 法案的透明度要求从 2026 年 8 月起分批生效,披露正在从客气变成合规义务。监管会制造对数字的需求,买方需要一个能指着说的数。厂商自己报自己的数,是这种需求下可预期的结果,没跟上的是独立评测。

256 像素这条线比标题更值得看

准确率声明底下埋着一个更有用的工程细节。多数检测系统都想要一张像样的图。社交平台会把所有东西重新压缩、裁切、缩小,所以一个能处理 256 像素缩略图的检测器,跟一个必须要原始文件的检测器,做的是两件不同的事。

一块磨砂玻璃砖旁边放着一块小得多的同款玻璃砖,小的那块从背后打光,整条边在发光。

它下面的限制同样实际。短边低于 512 像素时,Pangram 说结果会变得没那么可靠。也就是说模型会对一小块裁切图给出判断,同时告诉你这个判断不太稳。

做核查的人会明白,这个组合比单一准确率数字有用。面对一张裁得很狠的截图,肯说「我不知道」的检测器,比一个永远有答案的检测器更可靠。

视频那半边更难

图像检测受关注是因为争吵都发生在那里,但差距最大的地方一直是视频。一段生成的片子就是几百帧,像素级的水印得扛住重新编码、裁成竖屏,以及社交平台在上传时对它做的任何处理。

Pangram 的办法是用 Flash 1.0 逐帧查。这比把整段视频当成一个对象处理要便宜,产出的是一个分布而不是单一结论,也更接近人工复核的方式:拖进度条,在可疑处停下,凑近看。

它带来的细微变化是,一段部分生成的视频现在有了可量化的答案,而不再是简单的有或没有。广告和短视频制作都依赖混合素材,真实的底片加上生成的插入镜头,而对披露规则来说,真正要紧的问题是合成的帧占多少比例。

检测能做什么,不能做什么

Aerial Perspectives 这个案例把边界摆得很清楚。水印命中是强证据,说明有生成模型碰过这个文件。干净的结果什么都证明不了,因为检测器只认它跟踪的合作方水印,在别处生成的图查出来就是干净的。Cult of Mac 在写苹果于 iOS 27.2 给 Image Playground 加上 SynthID 时说过同一件事:这个检查是单向的。

这种不对称让图片编辑的实际流程从一步变成三步。先用 OpenAI Verify 或 Google 的 About This Image 面板查来源元数据,文件带 C2PA 数据时那里会显示出来。然后反向搜图,找最早出现的那一次。最后看画面本身,因为手、文字和首饰透露的东西仍然比任何分类器都多。

Larsen 的案例补上了没人解决的那一块。一张由 578 帧叠出来的真实照片看起来像合成的,因为这个过程产出的东西眼睛从没见过。检测模型没有这一类,留言的人也没有。

Pangram 这次发布是实打实的一步。视频检测尤其薄弱,一个逐帧模型能做到这个价位,确实补了个缺口。接下来几个月值得盯的,是 Pangram 之外有没有人公布一个跟它吻合的数字。

相关文章