← 返回博客
Ai预计阅读 10 分钟

99.2% 的检出率,0.27% 的误报,先看他们拿什么测的

发布于 2026年11月11日
99.2% 的检出率,0.27% 的误报,先看他们拿什么测的

Pangram 在 11 月 4 日放出了两个计算机视觉模型。Pangram Image 1.0 检测 AI 生成的图像。Pangram Image Flash 1.0 是更小更快的兄弟,它的活儿是逐帧过一遍 AI 生成的视频,说出哪些部分来自生成器。

这次发布加了热力图输出、原生视频上传、一个 Chrome 扩展,以及图像和视频两边的 API。在 X 上,公司说 Image 1.0 能识别 99.2% 的 AI 生成图像,同时把误报率压在 0.27%。

这两个数字是那种可以放上幻灯片的东西。也是那种应该去读脚注的东西。

99.96% 是怎么测出来的

图像评估的做法是,Pangram 拿了 100 张真实照片,用 12 个不同的图像生成器给每一张做了合成镜像。prompt 写得尽量贴合原照片,一共造出 1200 张合成图。在这个集合上,公司报告 Image 1.0 的准确率是 99.96%。

对一个特定问题来说,这是一个设计得不错的测法。因为每张真实照片都有同场景同主体的合成对应物,模型没法靠「海滩照是真的、产品图是假的」这种规律作弊。它必须看像素。

但它测不了把模型放到开放互联网上会发生什么。Pangram 自己说得很直接:这个数字描述的是在这组定向配对上的表现,而不是对网上遇到的所有图像的通用准确率。

这个区别比听上去重要。一个检测器在真实世界里的错误分布,主要由那些没人想到要放进测试集的图决定:截图的截图、过了三个聊天软件的图、老 JPEG、印刷品的扫描、任何带水印条的图,以及测试集冻结之后才发布的生成器的输出。一组干净的 100 张照片镜像,测不了其中任何一项。

两个头条数字里,0.27% 的误报率更有意思,因为误报才是会让真人被指控的东西。0.27% 意味着大约每 370 张真实图像里有一张被标出来。对一家每天核几张照片的新闻编辑部,这是一条可控的复核队列。对一个每天扫一亿次上传的平台,这是二十五万个被误判的用户,这也正是这个量级的公司没人只靠一个分类器的原因。

视频那个数字才让人不安

视频 benchmark 是这次发布里让人坐不住的地方。

Pangram 用 DF26 评估 Flash 1.0,这个 benchmark 出自 2026 年 9 月 7 日提交的一篇预印本。DF26 里有 271 条真实视频,2420 条合成视频,来自七个现代视频模型。内容刻意窄,也刻意难:一个人对着镜头说话、官方声明、演播室访谈。这正是真正会造成伤害的深度伪造格式,因为在这种格式里,观众的默认假设就是「这个人是真的」。

benchmark 的作者报告,真人和最先进的深度伪造检测器在上面都接近随机水平。他们主张,评估应该显式测试对现代生成器造成的分布偏移的鲁棒性。

这个结果值得在脑子里多放一会儿。接近随机,意味着抛硬币加几道手续。检测器本身做得不差,它们是在上一代伪造品上训练和评估的,而新生成器不留同样的痕迹。一个学会看下颌线扭曲的检测器,在下颌线不扭曲的时候毫无用处。

Pangram 说 Flash 1.0 在 DF26 上得到 98.7%,并称这比次优检测器高 29 个点。如果这个结果在独立复现下站得住,那是一个在专门用来打垮上一代工具的 benchmark 上的巨大差距。它同时也是一个公司自报的、在公司自己选的 benchmark 上、用自己那套 harness 跑出来的数字,所以诚实的位置是:有希望,未验证。

产品实际做什么

功能清单比营销材料有信息量。

热力图输出把合成材料定位到图像内部。这才是常见真实场景需要的能力,而那个场景往往不是一张全生成的图,而是一张真实照片里插进了一个生成元素,或者一张真实图像上被涂了一块生成区域。一个「是或否」的标签在那儿没用。热力图告诉编辑该看哪里。

原生视频上传在面板里跑逐帧分析,指出视频的哪些片段被标了出来。对一段两分钟的片子,它产出的是怀疑的时间线而不是判决,这对人类复核者来说是对的输出。

Chrome 扩展在社交媒体、购物和租房站点上标出 AI 生成的材料。最后这一类是真正让人亏钱的。租房房源照片是生成图让人损失真金白银的经典场所。

相比七月的预览变了什么

2026 年 7 月 29 日的研究预览只接受 512×512 像素及以上的图像,并明确把深度伪造和换脸列为它无法自信检测的情况。那是一个诚实的限制,也是一个大洞,因为换脸是最常见的有害场景。

1.0 版声称在深度伪造、低分辨率图像和前沿生成模型上表现提升。最小输入现在是 256×256,低于 512 的会附带一个降低置信度的声明。公司说新模型被训练去识别压缩、降采样、模糊和噪声这类变换,无论它们是社交平台引入的,还是想逃避检测的人故意加的。

最后这句话承担了很多工作。现实里的 AI 图像绝大多数是在被至少一个平台重新压缩之后才到你眼前的。一个只在干净 PNG 上有效的检测器,是实验室仪器。

接入面也放宽了。预览阶段图像 API 是邀请制,面板的视频输入被列为后续工作。现在两者都有了。

没人解决的那个结构性问题

检测是一个分类问题,而其中一方可以持续迭代。生成器每进步一次,痕迹分布就偏移一次,所有在旧分布上训练的检测器都掉准确率。防守方必须一直赢。攻击方只需要赢一次,赢在那张要紧的图上。

C2PA 这类来源标准就是为了补这个缺口。相机拍摄时的密码学签名,和对像素做统计猜测,是两种不同性质的断言。签名可以被剥掉,但当它存在时,它不是一个概率。

两条路是互补,不是竞争。来源回答「我们知道这东西哪来的吗」。检测回答「这东西看起来像生成的吗」。新闻编辑部两个都要,平台两个都要,两个都不够。

Pangram 的卖点基本上是:检测不是一个已经被解决的问题,应该有人把它做成带热力图和 API 的产品,而不是一个研究 demo。这是一门合理的生意。99.2% 会帮他们约到会。98.7% 那个 DF26 数字,才是别人该拿着 benchmark harness 和一个刚发布的生成器,详细追问的东西。

给使用者的一个实用脚注

如果一个检测器告诉你某张图是 AI 生成的,你有了线索。如果它告诉你某张图是真的,你什么都没有。这种不对称是问题本身的一部分,没有任何准确率数字能改变它。0.27% 的误报率告诉你这个工具在一个方向上多久会让你难堪一次。发布里没有任何一句告诉你它多久会漏掉一个做得好的假货,而那个数字永远更难看。

所以把它当分诊工具用,留着热力图,把模型版本和结论一起记下来,并且准备好在每个重要生成器发版后重跑一遍评估。一个检测器准确率的半衰期,是按月算的。

相关文章