35 万个假受害者,和机构撒谎的伦理问题

公司叫 Apate.ai,取名自希腊的欺骗女神。它跑着大约 35 万个 AI 智能体,唯一的工作就是被骗。
它们接诈骗电话。回钓鱼短信。点恶意链接。加入那个 WhatsApp 群,里面有个假投资顾问在讲一个假交易平台。然后做那件让整套系统成立的事:它们极其配合,而且完全无能。
是的,我这就转账。哎哟,银行卡放哪了。不好意思,您再说一遍,我这方面有点迟钝。
诈骗犯在这通电话上花的每一分钟,都不是花在一个真实的 78 岁老人身上。
公司自己给的数字
Apate 2024 年从悉尼麦考瑞大学的研究里出来,创始人 Dali Kaafar 做的是用机器学习分析诈骗电话内容。起源故事是一次家庭野餐和通 44 分钟的电话,他拖着骗子聊是为了逗孩子,之后意识到时间本身就是防线。
公司自己的数字:约 35 万个智能体,完成超过 250 万次对话,占用诈骗犯约 17 年的工作时间,提取超过 25 万条可行动情报。客户包括澳大利亚联邦银行和 TPG Telecom。TPG 把近 59 万个可疑来电转给了智能体。联邦银行公开报告诈骗损失上报量下降 76%。
八月,公司完成 815 万美元种子轮,Lobby Capital 领投,OIF Ventures、Investible、Concept Ventures、Baobab Ventures 参与,累计融资略低于 1,000 万美元。二十名员工。8 月 25 日生效的特拉华州重新注册,下季度计划开伦敦办公室。
机制不神秘。诈骗是一门人力生意。他们需要一个人在电话上花二十分钟,带受害者走完一次转账。如果电话那头是个成本基本为零的机器人,诈骗的经济学就反过来了:攻击者最贵的投入——注意力——被一个不会累、不会用完的东西吃掉。

为什么情报才是产品
浪费时间很爽。但它不是生意。
生意是数据。智能体在迷糊「银行卡放哪了」的时候,同时也在收集:骗子要你打钱的银行账户、加密钱包地址、钓鱼域名、来电号码、被冒充的品牌、正在用的脚本。这些打包交给银行、运营商和监管机构,他们能在下一个受害者接电话之前封掉账户或把域名沉掉。
这改变了反诈的时间位置。传统防御在损失之后运作:受害者报案、银行冻结,钱通常已经不在了。情报优先的防御在损失之前运作,而那是唯一算得过来的位置。
这也解释了为什么运营商是天然的第一个客户。TPG 不需要知道骗子是谁。它需要一个在电话到达用户之前挂掉它的理由。一个接起电话、拿到脚本、返回判定的 AI,是一个越用越准的来电筛查产品。
不好回答的问题
这里我不再叫好,因为这是一家产品就是制度化欺骗的公司,它值得比一般暖心故事更多的审视。
谁有资格部署一个会撒谎的 AI? 到目前为止的答案是「一家有银行当客户的公司」。那不是法律框架,是采购关系。如果这个技术有效,它会被复制——被催收、被营销、被政府、被任何想用虚假前提占用陌生人时间的人。正在形成的先例是「目标是个罪犯时欺骗没问题」,而这条规则的边缘非常滑。
骗来的情报有多准? 中文报道里引用的一位批评者说得最锋利:一旦骗子知道有诱饵存在,他们就能喂假账户和假域名。支付账户和钓鱼链接几小时内就失效。数据同时是实时的和低置信的,对银行的拦截系统来说这是个尴尬的组合。
合理的姿态就是那位批评者建议的:把情报当成加强审核的触发条件,而不是拦截的依据。交叉核对。给每一条加有效期。不要让一个机器人的即兴发挥成为合法账户被冻结的理由。
当被骗的是智能体本身呢? 诈骗电话是针对人的社会工程。脚本是为套信息设计的,而 LLM 本身就是一个攻击面极大的信息提取界面。公司说它用前沿模型加上在真实对话上训练的专有微调,这是对的答案,也等于承认通用模型会漏。
如果它成立,会是什么样
有意思的场景不是「诈骗消失」。是一通诈骗电话的成本涨到边际诈骗不再赚钱,就像过滤器变好之后垃圾邮件变成低产出生意。
那会是真正的转变。二十年来,反诈是一个随损失缩放的成本中心。Apate 提出的反诈产品随攻击者体量缩放:诈骗电话越多,情报越多,拦截越好,诈骗电话越少。一个负反馈回路,而这个行业此前只有正反馈。
也有一个会变难看的版本。如果每家银行和运营商都部署自己的诱饵智能体群,诈骗生态不会消失,它会变得更擅长识别人机。语音通话变短,文字渠道接管,军备竞赛转移到防守方数据更少的地方。76% 是某一个市场某一个时点的测量值,它会衰减。
值得拿走的那个东西
把女神名字和融资轮剥掉,这里有一个能推广到诈骗之外的想法。
当对手的成本结构依赖人的注意力时,正确的防御是让注意力在你这边免费、在他那边昂贵。这就是蜜罐,也是 Apate 造的东西——一个有性格的蜜罐,部署在攻击者分不清今天那四百通电话里哪些是真的规模上。
机构该不该被允许跑这个,是个没人回答的政策问题。它有没有用,是个工程问题,目前只有一个数据点,和挂在上面的 76%。
相关文章
744B 模型住进 9.9 GB 内存,专家从硬盘上读
colibri 把 744B 混合专家模型里常用的那部分留在内存,专家从磁盘流式读。README 把慢的基准和快的一起发,所以值得读。
不动模型,也能把智能体调好
Harness² 冻结权重,只改模型周围的八个组件,然后对比几次运行的差异。一个 benchmark 上最多涨 11.5 分,没有一次梯度更新。
编辑榜排第二,调用榜前五十都没进
微软发了一个根本不能生成图像的模型。它在编辑榜第二,在请求量前五十里找不到。这个落差说明图像榜单到底在量什么。
GeForce 只有一半 Tensor Core 在跑,有人写了补丁
一个 GPL 项目声称 GeForce 的 FP16 与 TF32 张量吞吐被封在一半,并在驱动加载前把这个限制摘掉。RTX 30 能用,RTX 50 不能,真正的问题在文档。