Cloudflare 的 security-audit:它不保证找到漏洞,只保证不撒谎

大多数“AI 安全扫描器”都死在同一个地方:模型发现了点什么,写下一段信誓旦旦的分析,然后你花一小时才弄明白那个“严重 RCE”是个测试夹具。
Cloudflare 上周发的这个 skill,核心目标就是避开这个结局。它叫 security-audit,大约 5.7 万星,过去一周涨了约 1 万,MIT 许可。它也不是扫描器,它是一套流程。
README 难得直白地交代了来历:这个 skill 是 Cloudflare 自己工程博客里那套漏洞发现框架的种子,后来长成了一个多阶段的、全舰队规模的系统。公开仓库是它演化之前的单仓库起点。这个出身解释了它的语气。没人会把“纵深防御的缺口不是漏洞”写成规则,除非他收过一整份把缺口当漏洞的报告。
六个阶段,一本台账
流程按固定顺序跑,每个阶段都写出你能翻的产物。
阶段一是侦察。agent 把架构、信任边界、输入面、既有证据整理进 architecture.md,同时开一本 coverage-ledger.json。这本台账是整件事的脊椎:它是一张待覆盖单元的清单,由一个零依赖脚本在创建之后、以及之后每次更新之后校验。
阶段二是按台账去找。被隔离的 hunter 从台账里领任务,记录查了什么,coverage critic 负责找缺口。阶段三把每个不重复的候选交给一个全新的 verifier,它的职责是推翻它。阶段四把三种结论写进 findings.json,并按 JSON schema 校验。阶段五让全新的 agent 重新核验最终的源码结论。阶段六从核验过的记录生成可读报告。

三种结论才是真正有意思的设计
每个发现落到三个桶之一,定义很硬。
confirmed 指完整的源码链路加上一个有边界的实测结果。needs_validation 指一个确切但尚未解决的事实,不带严重等级。rejected 记录被推翻的候选。
中间那个桶是大多数工具没有的,也正是它让输出能用。一条卡住的线索,写着“沙箱不可用所以没法执行,剩下这个具体问题是开放的”,比一条伪造的 critical 有价值得多。这个 skill 用机制把它固定下来:如果你没有操作系统级别的沙箱,流程就把线索停在 needs_validation,而不是去跑目标代码。
另一条规则是组织层面的,不是技术层面的:查证某个发现的 agent,永远不是发现它的那个。用 README 的话说,对抗式验证。看过模型给自己早先的说法找理由的人,都明白这条为什么不能是可选。
安装一条命令,而那是最简单的部分
npx skills add https://github.com/cloudflare/security-audit-skill --skill security-audit
加 --global 是装到用户级。然后在要审计的仓库里启动你的 coding agent,说一句:
security audit this codebase
或者
do a security review, output to ~/audits/my-project
匹配到请求它就会激活。直接要求审计或渗透测试会跑完整审计模式;只问一个安全问题会走指导模式,除非你要产物。不指定输出目录,结果落在 ~/security-audit-skill/<repo-name>/run-<N>;只有当你明确选了一个版本控制忽略的目录,它才会写进目标仓库里。
接下来是一条没人读、直到被它咬到的要求。你需要一个模型支持工具调用和并行子 agent 的 coding agent,需要 Node 跑校验脚本,还需要一个操作系统级别的沙箱:禁用外网、使用清洗过的白名单环境、限制资源、只允许写入分配给它的临时路径。
最后这一条就是整个产品。没有它 skill 也能跑,但会退化成一次阅读练习,因为它不会编译、测试、fuzz,也不会运行目标里的任何东西。对在自己笔记本上单干的开发者,搭这个沙箱是实打实一个下午。对已经有容器环境的平台团队,这就是直接插上。
怎么划定范围,别浪费一整天
这个 skill 很乐意审计整个仓库,而这恰恰是最糟的第一步。把它指向一个服务、一个目录,指向攻击者犯错代价最高的那块代码:请求解析器、auth 中间件、文件上传路径、碰第二个租户数据的那个东西。
然后先读 coverage ledger,再读 findings。台账薄,结论就薄,REPORT.md 里写多少漂亮话都救不回来。整条流程里,只有这本台账会告诉你什么没被看过,而“没被看过”才是让你被攻破的东西。
还要给第二遍留预算。设计上假定反复跑能增加覆盖,而老实读 Cloudflare 自己给的数字,第一遍大概只拿到一半。如果你只跑一次,你是在为一半的结果付全价。
它真正擅长什么
文件列表能告诉你深度在哪。它按类别准备了狩猎文档:内存安全和二进制、提示注入和 agent/工具处理、HTTP 请求分帧和认证协议、DOM 注入和原型污染、供应链和发布签名、IAM 以及容器和 serverless 配置、RPC 与队列与 webhook、资源耗尽、租户隔离和数据生命周期、桌面和移动端的本地 IPC。
十个领域,各自一份 prompt 包。这比一段“你是一名安全专家”的开场白诚实得多,因为 agent 可以只加载和目标匹配的类别,而不是把十个领域的覆盖都幻觉一遍。
那个显而易见的问题它也给了一个明确回答:跑一遍不够。在 Cloudflare 自己的测试里,单次运行找到的漏洞数量,大概等于反复运行累计发现的一半。所以这个 skill 被设计成可叠加的:后续运行会读之前的台账和结论,盯住缺口,重新验证改动过的源码,并且拒绝把过期或还没解决的工作算作已覆盖。
我会提出异议的地方
两点。
第一,覆盖台账会变成文书工作。一个必须为每个查过的单元辩护的 hunter,最后会开始写满足台账的检查,而不是满足代码的检查。校验脚本能证明 JSON 格式正确,证明不了这次狩猎是诚实的。
第二,六阶段结构很贵。六个阶段、隔离的 hunter、全新的 verifier、每个重要替换都独立复核——放在中等规模的仓库上,这是大量 token 和大量墙上时间。README 说得很坦率,严重等级应该看可能性乘影响,而不是看偏离清单的程度;但流程本身就是一张清单,发布前在四万行的服务上跑一遍,不现实。
我的看法:按 Cloudflare 用它的方式来用。不是每次提交都要过的闸门,而是对系统里“错了很贵”的那部分定期做一次深挖,并且把沙箱搭好,让结论是真被观察到的,而不是纸上推演出来的。
这东西划的线不是“它能不能找到 bug”,而是“它会不会为自己证明不了的东西撒谎”。这条线比听起来低,而这一类工具里,几乎没别的能过。
相关文章
十份降级报告,没有一份改了订单数字
十份降级报告都在讲不确定性,没有一份改动订单。真正的变量是 158 美元的恐慌低点和 5.1% 的十年期收益率。
三十三年来第一次,黄仁勋不在电话会上
数字几乎无悬念,真正要看的是克雷斯如何在首次独自主持的电话会上回答指引、Rubin 与毛利率三个问题。
一份社区维护的点击表,关掉了国产 Android 系统里的广告
它不动系统,不解锁,不刷机,只把厂商本来就留出来的开关一个个拨过去。代价是这份名单得一直有人续写。
GPT Image 2.6 守住 token 价格,账单却涨了
GPT Image 2.6 沿用了 2.5 的全部 token 费率,单张图却更贵,因为更多的活现在花在输出 token 上。上线十一天,定价结构说的比排行榜更多。