Cloudflare 的 security-audit,教 agent 誠實說出「我還不確定」

大多數「AI 資安掃描器」專案都死在同一個地方:模型找到某個東西,寫一段很有自信的文字,然後你花接下來一小時,才發現那個「重大 RCE」其實是測試用的 fixture。
Cloudflare 上週發佈了一個 skill,整個設計就是為了避開這個下場。它叫 security-audit,大約 5.7 萬顆星、過去一週多了約 1 萬顆,MIT 授權。它也不是掃描器。它是一套程序。
README 對它的來歷異常坦白:這個 skill 是 Cloudflare 自家工程部落格文章裡那套漏洞發掘 harness 的種子,後來長成多階段的跨團隊系統。公開的 repo 就是那東西演化出來的單一 repo 起點。這段出身說明了它的口氣。沒有人會在沒被塞過一整份這種報告之後,把「防禦縱深的缺口不算漏洞」寫成規則。
六個階段,一本帳
流程照固定順序跑,每個階段都會留下可以檢查的產物。
第一階段是偵察。agent 把架構、信任邊界、輸入面和既有證據畫進 architecture.md,並開一份 coverage-ledger.json。這本帳是整件事的脊椎:它是一份待涵蓋單位的清單,建立之後、以及之後每次更新之後,都會被一支零依賴的腳本驗證。
第二階段是照帳狩獵。隔離的 hunter 從帳上被指派任務、記下自己查過什麼,coverage critic 負責找缺口。第三階段把每個獨特候選交給全新的 verifier,它的工作是把它推翻。第四階段把三種判定寫進 findings.json,並對 JSON schema 驗證。第五階段由全新的 agent 重新驗證最終的原始碼主張。第六階段從已驗證的紀錄推導出可讀的報告。

三種判定是真正有意思的設計
每個 finding 都會落進三個桶子之一,而定義很嚴。
confirmed 表示有完整的原始碼追溯,加上一個有界的實測結果。needs_validation 表示有一個明確未解的事實,而且不掛嚴重度。rejected 記錄一個被推翻的候選。
中間那個桶子是大多數工具沒有的,也是讓輸出可用的關鍵。一條被卡住的線索,寫著「我們沒辦法執行,因為沙箱不可用,而還開著的那個問題精確來說是這個」,比一個假的 critical 有價值得多。這個 skill 用機制強制這件事:如果你沒有 OS 層強制的沙箱,流程會把線索留在 needs_validation,而不是去跑目標的程式碼。
另一條重要的規則是組織面的,不是技術面的。檢查 finding 的 agent,永遠不是發現它的那個 agent。用 README 的話說,對抗式驗證。看過模型替自己先前的說法找理由的人,都懂為什麼這不是選項。
安裝是一行指令,而那是簡單的部分
npx skills add https://github.com/cloudflare/security-audit-skill --skill security-audit
加上 --global 就是使用者層級安裝。然後你在想稽核的 repo 裡啟動 coding agent,說一句像這樣的話:
security audit this codebase
或是
do a security review, output to ~/audits/my-project
這個 skill 會在符合的請求上啟動。直接要求稽核或滲透測試會跑完整稽核模式;問一個資安問題會跑指引模式,除非你要求產出檔案。沒指定輸出目錄時,結果會放在 ~/security-audit-skill/<repo-name>/run-<N>,而且只有在你自己指定一個版本控制忽略的目錄時,它才會寫進目標 repo 裡。
接著是那個沒人會讀、直到被咬一口的要求。你需要一個模型支援工具呼叫與平行 sub-agent 的 coding agent、給驗證器用的 Node,還有一個 OS 層強制的沙箱:關掉對外網路、使用消毒過的白名單環境、強制資源上限、只允許寫入指派的暫存路徑。
最後那一句就是整個產品。沒有它,skill 還是能跑,但會退化成閱讀練習,因為它不會建置、測試、fuzz 或執行目標裡的任何東西。對一個在筆電上工作的獨立開發者,把那個沙箱架起來是實打實的一個下午。對已經有 container harness 的平台團隊,這是直接插上就能用。
怎麼框一次執行,而不浪費一天
這個 skill 會很樂意稽核整個 repo,而那是錯誤的第一步。把它指向一個服務或一個目錄,指向 codebase 裡「攻擊者犯錯代價最高」的那一塊:請求解析器、auth middleware、檔案上傳路徑、會去讀另一個租戶資料的那個東西。
然後先讀 coverage ledger,再讀 findings。帳太薄,findings 就薄,REPORT.md 裡寫再多漂亮的文字都救不回來。整條流程裡,只有這本帳會告訴你什麼沒被看過,而「沒被看過」正是讓你被攻破的東西。
也要為第二次執行留預算。設計上假設反覆掃描會增加覆蓋率,而誠實地讀 Cloudflare 自家的數字,第一輪大約只拿到一半。如果你只跑一次,你是用全額價格買半個結果。
它真正擅長什麼
檔案清單會告訴你深度在哪。有一整組 hunting-class 文件,涵蓋記憶體安全與二進位、prompt injection 與 agent/工具處理、HTTP 請求框架與 auth 協定、DOM injection 與 prototype pollution、供應鏈與發佈簽章、IAM 與 container 及 serverless 設定、RPC 與佇列及 webhook、資源耗盡、租戶隔離與資料生命週期,以及桌面/行動端的本機 IPC。
十個領域,每個都是獨立的 prompt 包。這比開頭一句「你是一位資安專家」誠實得多,因為它讓 agent 只載入符合目標的類別,而不是對全部類別都幻覺出覆蓋率。
對那個顯而易見的問題,它也給了明確答案:跑一次不夠。在 Cloudflare 自家的測試裡,單次執行找到的漏洞,大約是反覆執行總量的一半。所以這個 skill 被設計成可累加的:後續執行會讀先前的帳與 findings、針對缺口、重新驗證有變動的原始碼,並拒絕把過期或未解的工作當成已涵蓋。
我會反駁的地方
兩件事。
第一,coverage ledger 會變成文書作業。一個必須為每個查過的單位交代的 hunter,最後會開始寫「能滿足帳本」的檢查,而不是「能滿足程式碼」的檢查。驗證腳本證明 JSON 格式正確。它們證明不了狩獵是誠實的。
第二,六階段結構很貴。六個階段、隔離的 hunter、全新的 verifier、每個實質替換都獨立重新驗證——在一個中型 repo 上,那是大量 token 和大量 wall clock。README 有明說嚴重度該來自可能性乘上影響,而不是偏離檢查表,但流程本身就是一張檢查表,要在發版前對一個四萬行的服務跑完,並不現實。
我的讀法是:照 Cloudflare 用它自己的方式用它。不是每個 commit 都跑的把關,而是對系統裡「錯了很貴」的那些部分做排程式的深度掃描,並且把沙箱準備好,讓 findings 真的能被觀察,而不是被推論。
這東西設的門檻不是「它找不找得到 bug」。是「它會不會拒絕為那些證明不了的東西說謊」。這門檻比聽起來低,而這個類別裡幾乎沒有別的東西過得了。
相關文章
一份社群維護的點擊表,關掉了中國品牌 Android 系統裡的廣告
它不動系統,不解鎖,不刷機,只把廠商本來就留出來的開關一個個撥過去。代價是這份名單得一直有人續寫。
GPT Image 2.6 守住 token 價格,帳單卻變貴了
GPT Image 2.6 沿用 2.5 的全部 token 費率,每張圖卻更貴,因為更多工作現在花在輸出 token 上。上線十一天,定價結構說得比排行榜更多。
有人從外部重寫了 IDM,並寫下自己沒碰過的部分
Mister Download Manager 用 Rust 重寫了 Internet Download Manager 的下載流程,聲稱速度快 5 倍、支援 86 種語言。更值得細讀的,是它解釋如何在不複製任何程式碼的前提下完成重寫的那一段。
Rune 是一個 Rust UI 框架,設計初衷是讓 agent 能檢查自己的工作
Rune 能無頭繪製、匯出元素樹並接受腳本化輸入,這讓編碼 agent 拿到截圖永遠給不了的東西,一個可 diff 的訊號。這個框架仍是預先發布版,不接受 pull request。