← 返回部落格
Ai預計閱讀 9 分鐘

Cloudflare 的 security-audit,教 agent 誠實說出「我還不確定」

發布於 2026年11月2日
Cloudflare 的 security-audit,教 agent 誠實說出「我還不確定」

大多數「AI 資安掃描器」專案都死在同一個地方:模型找到某個東西,寫一段很有自信的文字,然後你花接下來一小時,才發現那個「重大 RCE」其實是測試用的 fixture。

Cloudflare 上週發佈了一個 skill,整個設計就是為了避開這個下場。它叫 security-audit,大約 5.7 萬顆星、過去一週多了約 1 萬顆,MIT 授權。它也不是掃描器。它是一套程序。

README 對它的來歷異常坦白:這個 skill 是 Cloudflare 自家工程部落格文章裡那套漏洞發掘 harness 的種子,後來長成多階段的跨團隊系統。公開的 repo 就是那東西演化出來的單一 repo 起點。這段出身說明了它的口氣。沒有人會在沒被塞過一整份這種報告之後,把「防禦縱深的缺口不算漏洞」寫成規則。

六個階段,一本帳

流程照固定順序跑,每個階段都會留下可以檢查的產物。

第一階段是偵察。agent 把架構、信任邊界、輸入面和既有證據畫進 architecture.md,並開一份 coverage-ledger.json。這本帳是整件事的脊椎:它是一份待涵蓋單位的清單,建立之後、以及之後每次更新之後,都會被一支零依賴的腳本驗證。

第二階段是照帳狩獵。隔離的 hunter 從帳上被指派任務、記下自己查過什麼,coverage critic 負責找缺口。第三階段把每個獨特候選交給全新的 verifier,它的工作是把它推翻。第四階段把三種判定寫進 findings.json,並對 JSON schema 驗證。第五階段由全新的 agent 重新驗證最終的原始碼主張。第六階段從已驗證的紀錄推導出可讀的報告。

A wall of pinned index cards in a dark room, most marked, a few left blank

三種判定是真正有意思的設計

每個 finding 都會落進三個桶子之一,而定義很嚴。

confirmed 表示有完整的原始碼追溯,加上一個有界的實測結果。needs_validation 表示有一個明確未解的事實,而且不掛嚴重度。rejected 記錄一個被推翻的候選。

中間那個桶子是大多數工具沒有的,也是讓輸出可用的關鍵。一條被卡住的線索,寫著「我們沒辦法執行,因為沙箱不可用,而還開著的那個問題精確來說是這個」,比一個假的 critical 有價值得多。這個 skill 用機制強制這件事:如果你沒有 OS 層強制的沙箱,流程會把線索留在 needs_validation,而不是去跑目標的程式碼。

另一條重要的規則是組織面的,不是技術面的。檢查 finding 的 agent,永遠不是發現它的那個 agent。用 README 的話說,對抗式驗證。看過模型替自己先前的說法找理由的人,都懂為什麼這不是選項。

安裝是一行指令,而那是簡單的部分

npx skills add https://github.com/cloudflare/security-audit-skill --skill security-audit

加上 --global 就是使用者層級安裝。然後你在想稽核的 repo 裡啟動 coding agent,說一句像這樣的話:

security audit this codebase

或是

do a security review, output to ~/audits/my-project

這個 skill 會在符合的請求上啟動。直接要求稽核或滲透測試會跑完整稽核模式;問一個資安問題會跑指引模式,除非你要求產出檔案。沒指定輸出目錄時,結果會放在 ~/security-audit-skill/<repo-name>/run-<N>,而且只有在你自己指定一個版本控制忽略的目錄時,它才會寫進目標 repo 裡。

接著是那個沒人會讀、直到被咬一口的要求。你需要一個模型支援工具呼叫與平行 sub-agent 的 coding agent、給驗證器用的 Node,還有一個 OS 層強制的沙箱:關掉對外網路、使用消毒過的白名單環境、強制資源上限、只允許寫入指派的暫存路徑。

最後那一句就是整個產品。沒有它,skill 還是能跑,但會退化成閱讀練習,因為它不會建置、測試、fuzz 或執行目標裡的任何東西。對一個在筆電上工作的獨立開發者,把那個沙箱架起來是實打實的一個下午。對已經有 container harness 的平台團隊,這是直接插上就能用。

怎麼框一次執行,而不浪費一天

這個 skill 會很樂意稽核整個 repo,而那是錯誤的第一步。把它指向一個服務或一個目錄,指向 codebase 裡「攻擊者犯錯代價最高」的那一塊:請求解析器、auth middleware、檔案上傳路徑、會去讀另一個租戶資料的那個東西。

然後先讀 coverage ledger,再讀 findings。帳太薄,findings 就薄,REPORT.md 裡寫再多漂亮的文字都救不回來。整條流程裡,只有這本帳會告訴你什麼沒被看過,而「沒被看過」正是讓你被攻破的東西。

也要為第二次執行留預算。設計上假設反覆掃描會增加覆蓋率,而誠實地讀 Cloudflare 自家的數字,第一輪大約只拿到一半。如果你只跑一次,你是用全額價格買半個結果。

它真正擅長什麼

檔案清單會告訴你深度在哪。有一整組 hunting-class 文件,涵蓋記憶體安全與二進位、prompt injection 與 agent/工具處理、HTTP 請求框架與 auth 協定、DOM injection 與 prototype pollution、供應鏈與發佈簽章、IAM 與 container 及 serverless 設定、RPC 與佇列及 webhook、資源耗盡、租戶隔離與資料生命週期,以及桌面/行動端的本機 IPC。

十個領域,每個都是獨立的 prompt 包。這比開頭一句「你是一位資安專家」誠實得多,因為它讓 agent 只載入符合目標的類別,而不是對全部類別都幻覺出覆蓋率。

對那個顯而易見的問題,它也給了明確答案:跑一次不夠。在 Cloudflare 自家的測試裡,單次執行找到的漏洞,大約是反覆執行總量的一半。所以這個 skill 被設計成可累加的:後續執行會讀先前的帳與 findings、針對缺口、重新驗證有變動的原始碼,並拒絕把過期或未解的工作當成已涵蓋。

我會反駁的地方

兩件事。

第一,coverage ledger 會變成文書作業。一個必須為每個查過的單位交代的 hunter,最後會開始寫「能滿足帳本」的檢查,而不是「能滿足程式碼」的檢查。驗證腳本證明 JSON 格式正確。它們證明不了狩獵是誠實的。

第二,六階段結構很貴。六個階段、隔離的 hunter、全新的 verifier、每個實質替換都獨立重新驗證——在一個中型 repo 上,那是大量 token 和大量 wall clock。README 有明說嚴重度該來自可能性乘上影響,而不是偏離檢查表,但流程本身就是一張檢查表,要在發版前對一個四萬行的服務跑完,並不現實。

我的讀法是:照 Cloudflare 用它自己的方式用它。不是每個 commit 都跑的把關,而是對系統裡「錯了很貴」的那些部分做排程式的深度掃描,並且把沙箱準備好,讓 findings 真的能被觀察,而不是被推論。

這東西設的門檻不是「它找不找得到 bug」。是「它會不會拒絕為那些證明不了的東西說謊」。這門檻比聽起來低,而這個類別裡幾乎沒有別的東西過得了。

相關文章