Cloudflareのsecurity-auditは、証明できなかったものについて嘘をつかない

「AIセキュリティスキャナ」の類は、大抵同じ場所で死ぬ。モデルが何かを見つけ、自信満々の段落を書き、あなたは次の1時間を「その『クリティカルなRCE』はテスト用のフィクスチャだ」と気づくために使う。
Cloudflareが先週公開したスキルは、まさにその結末を避けるために作られている。名前は security-audit、約57,000スターで直近1週間におよそ10,000を追加、MITライセンス。そしてこれはスキャナではない。手順書だ。
READMEは出自について異例なほど率直だ。このスキルはCloudflare自身のエンジニアリングブログで紹介された脆弱性発見ハーネスの種であり、それが後に複数段階の全社規模システムへ育った。公開リポジトリは、その進化の出発点にあたる単一リポジトリ版である。この来歴が口調を説明する。「多層防御の穴は脆弱性ではない」などというルールは、そういうもので埋まった報告書を渡された人間しか書かない。
6つのフェーズと1つの台帳
ワークフローは決まった順序で進み、各フェーズが検査できる成果物を書き出す。
フェーズ1は偵察。エージェントはアーキテクチャ、信頼境界、入力面、既存の証拠を architecture.md に落とし、coverage-ledger.json を起動する。この台帳が全体の背骨だ。カバーすべき単位の一覧であり、作成後と以後の更新のたびに、依存ゼロのスクリプトで検証される。
フェーズ2は台帳に基づく探索。切り離されたハンターが台帳から割り当てられ、何を確認したかを記録し、カバレッジ批評役が穴を探す。フェーズ3は、重複のない候補をすべて新しい検証役に渡す。その仕事は反証することだ。フェーズ4は3種類の判定を findings.json に書き、JSONスキーマで検証する。フェーズ5では新しいエージェントが最終的なソース上の主張を再検証する。フェーズ6で、検証済みの記録から読める報告書を導出する。

3つの判定が面白い
すべての検出は3つのバケツのどれかに入り、定義は厳格だ。
confirmed は、完全なソースの追跡と、範囲を限定した観測結果がある状態。needs_validation は、未解決の事実が正確に特定されていて、深刻度は付けない状態。rejected は、反証された候補の記録だ。
多くのツールに欠けているのは真ん中のバケツで、これがあるから出力が使えるものになる。「サンドボックスが使えなかったため実行できず、残っている問いはこれこれだ」という止まったリードは、偽のクリティカルより価値がある。スキルはこれを機械的に強制する。OSレベルで強制されたサンドボックスがなければ、ワークフローは対象コードを走らせず、リードを needs_validation に留める。
もう1つ重要なルールは技術ではなく組織の話だ。検出を確認するエージェントは、決して検出したエージェントではない。READMEの言葉でいえば敵対的検証。モデルが以前の自分の主張を合理化する様子を見たことがある人なら、これが任意でない理由は分かるはずだ。
インストールは1コマンド、楽なのはそこまで
npx skills add https://github.com/cloudflare/security-audit-skill --skill security-audit
ユーザーレベルに入れるなら --global を付ける。あとは監査したいリポジトリでコーディングエージェントを起動し、こう伝える。
security audit this codebase
または
do a security review, output to ~/audits/my-project
スキルは該当する依頼で起動する。監査やペネトレーションテストを直接頼めばフル監査モード、セキュリティについての質問なら成果物を求めない限りガイダンスモードになる。出力先を指定しなければ結果は ~/security-audit-skill/<repo-name>/run-<N> に置かれ、バージョン管理が無視するディレクトリを明示的に選んだ場合に限り、対象リポジトリの中へ書き込む。
そのあとに、誰も読まずに痛い目を見る要件が来る。ツール使用と並列サブエージェントに対応したモデルのコーディングエージェント、バリデータ用のNode、そして外部ネットワークを無効化し、無害化された許可リスト環境を使い、リソース制限をかけ、書き込みを割り当てられたスクラッチパスだけに許すOS強制のサンドボックス。
最後の一節がこの製品のすべてだ。それがなくてもスキルは動くが、読み物に劣化する。対象のビルド、テスト、ファジング、実行が一切できないからだ。ノートPCの個人開発者にとって、そのサンドボックスを立てるのは丸半日の仕事になる。コンテナのハーネスをすでに持っているプラットフォームチームなら、そのまま入る。
1日を無駄にしない範囲の決め方
スキルはリポジトリ全体を喜んで監査するが、それが最初の一手としては間違いだ。1つのサービスか1つのディレクトリを指定し、しかも攻撃者のミスが最も高くつく場所へ向ける。リクエストパーサ、認証ミドルウェア、ファイルアップロード経路、別テナントのデータに触るやつ。
そして検出より先にカバレッジ台帳を読む。台帳が薄ければ検出も薄く、REPORT.md の文章量では埋まらない。台帳はこのワークフロー全体で「どこを見ていないか」を教えてくれる唯一の成果物であり、侵入される原因は「見ていない場所」だ。
2回目の実行も見込んでおくこと。設計は反復でカバレッジが積み上がる前提で、Cloudflare自身の数字を正直に読むなら、1回目で取れるのは半分程度だ。1回しか回さないなら、半分量のために満額を払っている。
実際に強いところ
ファイル一覧を見れば深さが分かる。メモリ安全性とバイナリ、プロンプトインジェクションとエージェント/ツールの扱い、HTTPリクエストのフレーミングと認証プロトコル、DOMインジェクションとプロトタイプ汚染、サプライチェーンとリリース署名、IAMとコンテナとサーバーレスの設定、RPCとキューとWebhook、リソース枯渇、テナント分離とデータライフサイクル、デスクトップ/モバイルのローカルIPC。それぞれに探索クラスの文書がある。
10のドメイン、それぞれ別のプロンプトパック。単一の「あなたはセキュリティの専門家です」という前置きより、よほど正直な構造だ。対象に合うクラスだけを読み込めばよく、全領域をカバーしていると幻覚する必要がない。
明白な疑問への答えも明記されている。1回では足りない、と。Cloudflare自身の試験では、1回の実行で見つかったのは、反復実行の合計のおよそ半分だった。だからこのスキルは加算的に設計されている。後の実行は前回の台帳と検出を読み、穴を狙い、変更されたソースを再検証し、古い未解決の作業をカバー済みとして扱うことを拒む。
異論を唱えたいところ
2つある。
1つ目。カバレッジ台帳は書類仕事になりうる。すべての単位について根拠を説明しなければならないハンターは、いずれコードではなく台帳を満たす確認を書くようになる。検証スクリプトが証明できるのはJSONが正しい形であることだけだ。探索が誠実だったことは証明できない。
2つ目。6フェーズ構成は高くつく。6フェーズ、切り離されたハンター、新しい検証役、重要な置き換えごとの独立再検証。中規模のリポジトリなら、かなりのトークンとかなりの実時間がかかる。READMEは深刻度をチェックリストの逸脱ではなく発生可能性×影響で決めるべきだと明言しているが、プロセス自体がチェックリストであり、4万行のサービスにリリース前これを回すのは現実的ではない。
私の読みはこうだ。Cloudflareと同じ使い方をすればいい。毎コミットのゲートではなく、間違えると高くつく部分への定期的な深掘りとして、しかもサンドボックスを用意して、検出が理論ではなく観測になる状態で使う。
このツールが設定している基準は「バグを見つけられるか」ではない。「証明できなかったものについて嘘をつかないか」だ。聞こえるより低い基準だが、このカテゴリでそこを満たすものはほとんどない。
関連記事
中国製 Android のシステム UI に載った広告を切る、コミュニティ管理のタップ表
システムには触らず、アンロックも書き込みもしない。ベンダーがもともと用意したスイッチを一つずつ倒すだけだ。代償は、この一覧を書き続ける人が要ることにある。
GPT Image 2.6 はトークン単価を据え置き、請求額を上げた
GPT Image 2.6 は 2.5 のトークン単価をすべて引き継ぎながら、1 枚あたりの費用は上がった。仕事の多くが出力トークン側に移ったからだ。11 日目の価格構造は、ランキングより多くを語る。
外から IDM を作り直した人が、触れなかった部分を書き残した
Mister Download Manager は Internet Download Manager の流れを Rust で作り直し、5 倍の速度と 86 言語を掲げる。より興味深いのは、何もコピーせずにどう作ったのかを説明した段落のほうだ。
Rune はエージェントが自分の仕事を検証できるように作られた Rust UI フレームワーク
Rune はヘッドレスで描画し、要素ツリーを出力し、スクリプト化された入力を受け付ける。スクリーンショットでは決して得られない、diff できる信号をコーディングエージェントに渡せる。フレームワークはプレリリースで、プルリクエストは受け付けない。