你还能分辨 AI 图像和真实照片吗?检测军备竞赛正变得令人不安

一个名为“你能分辨哪些图像是 AI 生成的吗?”的小型网页游戏,本月以 112 分和 85 条评论登上了 Hacker News 首页。规则很简单:你会看到一连串图像,然后猜它是真实的还是生成的。评论最终汇聚成同一个坦白。那些以图像为生的人,得分仅比抛硬币略好。
几天后,另一个 HN 帖子介绍了 Pangram,一家同时销售文本和图像 AI 检测的初创公司,并引发了 27 条评论,讨论检测到底能不能行得通。这两个帖子之间,是这个领域令人不安的现状:分辨生成图像和真实图像正变得越来越难,而且变难的速度快于检测变好的速度。
为什么你的眼睛总是输
过去管用的破绽已经消失,或几乎消失。扭曲的手、融化的文字、不一致的光照、蜡状的皮肤:随着一代代模型发布,每一个问题都被修复了。文字渲染长期以来是可靠的破绽,如今在领先模型中已成为已解决的问题,这也是图像基准开始如此重视它的部分原因。剩下的是一个更微妙的差距。生成图像往往稍微过于连贯,纹理有点过于均匀,背景有点过于配合。人类能察觉到那种感觉,却说不清楚,这正是猜图游戏让所有人尴尬的原因。
Loki 问题以另一种方式说明了这一点。r/StableDiffusion 上有个帖子问,人们是如何制作出那些能在新服装和新场景中如此精确地保留某位演员外貌的 AI 图像的。做这件事的人给出的答案是,基于参考的生成和微调适配器,这些如今都不再需要什么奇特的工具。过去需要视觉特效公司花上数年才能做出的相似形象,如今一个下午就能完成,而提问者根本分不清涌入自己信息流的图像里哪些是模型输出。
作为产品的检测,作为政策的检测
Pangram 的宣传点是,如果你像训练生成器一样激进地训练检测器,检测就是可解的。HN 的讨论用那些标准且大体正确的反对意见进行了反驳:检测器对未见过的模型泛化能力很差,会产生伤害真实摄影师的假阳性,而且任何公开发布的检测器都会成为靶子,被下一次模型发布悄无声息地击败。还有来源溯源方法,即 C2PA 风格的内容凭证,它通过要求相机和生成器对其输出进行签名来绕开检测。当所有人都配合时,它有用。对于被人重新编码并抹掉元数据的图像,它毫无作用。
政策无论如何都在推进。本月,《华尔街日报》一篇报道让使用 AI 食物摄影的餐厅成了一个小新闻,而反弹与其说是针对抽象的欺骗,不如说是针对具体的背叛:你点的汉堡就应该像广告里的汉堡。这是一种社会检测机制,即众包式信任,而且它比任何分类器都更严格。
HN 帖子实际上在争论什么
两个 Hacker News 讨论把这个问题拆得很清楚。游戏帖里主要是人们在报告分数和交流技巧,这些技巧算是一份不错的化石记录,记录了曾经管用的方法:看手、检查文字、观察倒影、数背景行人的手指。如今这些检查在当前模型上几乎都会产生假阴性。尤其是文字渲染,一旦领先模型把它列为基准测试的优先项,它就不再是可靠的破绽;两年前,生成一个招牌文字清晰可读的店面还是新鲜事,如今已是默认能力。
Pangram 那个帖子则更怀疑。评论里的反对意见都是老一套,而且站得住脚:用昨天的生成器训练出来的检测器会漏掉明天的生成器,假阳性最严重地打击那些作品被标记为合成的真实摄影师,而且公开发布检测器,等于公开邀请下一个模型针对它进行训练。有一条评论把这种不对称性说得很具体:生成器只需要骗过已经存在的检测器,而检测器需要抓住每一个生成器,包括尚未发布的生成器。从结构上这就是一场必输的竞赛,这也是为什么商业检测产品主要卖给有审核义务的机构,而不是卖给对某张可疑图片好奇的个人。
来源溯源:无聊的替代方案
不断被提及的替代方案是内容凭证:采用 C2PA 风格、以加密方式签名的元数据,在拍摄或生成时附加。相机对传感器看到的内容签名。生成器对模型生成的内容签名。编辑工具保留或标注这条链。这一切都不需要检测任何东西,而这正是它的主要优点,因为检测是一场永久的军备竞赛,而签名是一种基础设施标准。
它的弱点同样是结构性的。签名是自愿的,元数据会被截图和重新编码抹掉,而且这条链只能证明图片来自哪里,永远不能证明原始内容是否诚实。一张签过名的 AI 图像仍然是一张 AI 图像。但随着平台开始展示凭证,一条干净链条的存在会像当年的 HTTPS 一样成为一种信任信号,而它的缺失则开始被解读为图片无法回答的问题。
社会层比技术层更严格
在检测和来源溯源之间,是本月真正发挥了作用的机制:人群。餐厅那件事之所以传播开,是因为顾客认出了拍摄的食物和端上来的食物之间的差距,而不是因为某个分类器标记了它。那些婴儿潮一代的孙辈图片之所以成为新闻,是因为群聊里的父母们说了不。Loki 图片促使某个 subreddit 发问它们是怎么做出来的,并在一天内得到了答案。社区以检测器无法做到的方式检测,靠的是了解语境。
这提示了一种值得认真对待的分工。机器擅长规模化筛查,把批量上传标记出来交由人工审核。人类擅长把握语境,能看出广告里的汉堡没有面包屑,因为没有哪个真实的汉堡会没有面包屑。来源溯源擅长处理源头,也就是诚实参与者所在的地方。没有任何单一层能抓住一切,这正是为什么那个让所有人尴尬的游戏仍然是有用的校准,而不是最终裁决。
这对发布图片的人意味着什么
如果你发布或委托制作图片,当前状况会带来三个习惯。第一,标注生成内容正在成为一种信任资产,而不是一种承认。那些公开披露的创作者——r/StableDiffusion 的帖子里对于如何处理反 AI 评论存在明显分歧——正在建立一种当披露发生在前面时仍会留下的受众。第二,来源溯源元数据保留成本很低,偶尔还能起决定性作用;平台正开始展示它,而保留它的成本只是一个设置开关。第三,对于任何图片提出事实主张的场合(新闻、产品、证据),都要假设你的受众有一个靠抛硬币判断的检测器和一个截图工具。唯一持久的防御,就是如实说明这张图片是什么。

那个让所有人尴尬的游戏仍然值得一玩。花十分钟面对一副打乱的真实与生成图像牌组,会以有用的方式重新校准你的信心。你判断失败的图像并不是注意力的问题。它们就是新的基线,而基线每个月都在移动。
相关文章
中国 AI 图像模型正在海外赢得拥趸,华盛顿也在关注
这种采用首先是技术性的,其次才是政治性的。开发者下载有效的东西,而目前有效的东西越来越多来自中国实验室。
预测市场正在就AI图像押注什么
真金白银正在押注谁将赢得AI图像。OpenAI在静态图上领先,MiniMax在视频上领先,而开源模型是无人定价的变数。
Qwen-Image 2.1 对比 Nano Banana 2.0:7B 开源模型已逼近谷歌
一个 70 亿参数的开源模型如今在阿里基准上领先于谷歌的 Nano Banana 2.0,并在其他方面都近在咫尺。
中国图像模型正在走向全球,而本月讨论风向变了
中国图像模型正在走向全球。基准测试、评论区和华盛顿的讨论本月如何发生变化。