Cloudflare의 security-audit, 버그보다 거짓말을 겨냥한 절차

“AI 보안 스캐너” 프로젝트는 대개 같은 지점에서 죽습니다. 모델이 뭔가를 찾아내고, 그것에 대해 자신감 넘치는 문단을 씁니다. 그리고 당신은 다음 한 시간 동안 그 “치명적 RCE”가 사실은 테스트 픽스처라는 걸 알아내느라 시간을 씁니다.
Cloudflare가 지난주 공개한 스킬은 바로 그 결말을 피하는 데 초점을 맞춰 만들어졌습니다. 이름은 security-audit, 스타는 약 57,000개에 지난주에 1만 개 정도가 붙었고 MIT 라이선스입니다. 스캐너가 아닙니다. 절차입니다.
README는 이게 어디서 왔는지 유난히 노골적으로 밝힙니다. 이 스킬이 Cloudflare 자체 엔지니어링 블로그에 실린 취약점 발굴 하네스의 씨앗이었고, 그 하네스가 나중에 여러 단계로 된 전사 규모 시스템으로 자랐다는 겁니다. 공개 저장소는 그 시스템이 출발한 단일 저장소 버전입니다. 그 내력이 문체를 설명합니다. “심층 방어의 공백은 취약점이 아니다”를 규칙으로 써 놓는 사람은, 그런 결론으로 가득한 보고서를 받아 본 사람뿐입니다.
여섯 단계, 원장 하나
워크플로는 고정된 순서로 돌아가고, 각 단계는 검사할 수 있는 산출물을 남깁니다.
1단계는 정찰입니다. 에이전트가 아키텍처, 신뢰 경계, 입력 표면, 기존 증거를 architecture.md에 정리하고 coverage-ledger.json을 만듭니다. 이 원장이 전체의 척추입니다. 커버해야 할 단위 목록이고, 생성 직후와 이후 모든 갱신 때마다 의존성 없는 스크립트로 검증됩니다.
2단계는 원장 기반 사냥입니다. 격리된 헌터들이 원장에서 배정받아 무엇을 확인했는지 기록하고, 커버리지 비평가가 빈 곳을 찾습니다. 3단계는 모든 고유 후보를 새 검증자에게 넘기는데, 그 검증자의 임무는 반증입니다. 4단계는 세 가지 판정을 findings.json에 쓰고 JSON 스키마로 검증합니다. 5단계는 새 에이전트가 최종 소스 주장을 다시 검증합니다. 6단계는 검증된 기록에서 읽을 수 있는 보고서를 뽑아냅니다.

세 가지 판정이 이 설계의 핵심
모든 발견은 세 바구니 중 하나로 떨어지고, 정의는 엄격합니다.
confirmed는 완전한 소스 추적과 경계가 정해진 관측 결과를 뜻합니다. needs_validation은 해결되지 않은 정확한 사실 하나를 뜻하며 심각도를 붙이지 않습니다. rejected는 반증된 후보를 기록합니다.
대부분의 도구에 없는 건 가운데 바구니이고, 출력을 쓸 만하게 만드는 것도 그 바구니입니다. “샌드박스를 쓸 수 없어서 실행하지 못했고, 남은 질문은 정확히 이것”이라고 적힌 막힌 단서는 가짜 치명적 취약점보다 값집니다. 스킬은 이걸 기계적으로 강제합니다. OS 수준 샌드박스가 없으면 대상 코드를 실행하는 대신 단서를 needs_validation에 묶어 둡니다.
또 하나 중요한 규칙은 기술이 아니라 조직에 관한 것입니다. 발견을 검사하는 에이전트는 그 발견을 찾은 에이전트가 아닙니다. README의 표현대로 적대적 검증입니다. 모델이 자기 앞선 주장을 합리화하는 걸 본 사람이라면 이게 선택 사항이 아니라는 걸 압니다.
설치는 명령 하나, 그건 쉬운 부분이다
npx skills add https://github.com/cloudflare/security-audit-skill --skill security-audit
사용자 수준 설치를 하려면 --global을 붙입니다. 그다음 감사할 저장소에서 코딩 에이전트를 켜고 이렇게 말하면 됩니다.
security audit this codebase
또는
do a security review, output to ~/audits/my-project
스킬은 맞는 요청에 반응해 활성화됩니다. 감사나 펜테스트를 직접 요구하면 전체 감사 모드가 돌고, 보안 관련 질문에는 산출물을 요청하지 않는 한 가이드 모드가 돕니다. 출력 디렉터리를 지정하지 않으면 결과는 ~/security-audit-skill/<repo-name>/run-<N>로 가고, 버전 관리가 무시하는 디렉터리를 직접 고른 경우에만 대상 저장소 안에 씁니다.
그다음에 아무도 읽지 않다가 나중에 물리는 요구 사항이 옵니다. 도구 사용과 병렬 서브 에이전트를 지원하는 모델의 코딩 에이전트, 검증기용 Node, 그리고 외부 네트워크를 차단하고 정제된 허용 목록 환경을 쓰며 자원 한도를 걸고 지정된 스크래치 경로에만 쓰기를 허용하는 OS 수준 샌드박스가 필요합니다.
마지막 조항이 사실상 제품 전부입니다. 그게 없어도 스킬은 돌아가지만, 대상에서 빌드도 테스트도 퍼징도 실행도 하지 않으니 독서 과제로 전락합니다. 노트북으로 일하는 1인 개발자에게 그 샌드박스를 세우는 건 제대로 된 반나절 작업입니다. 컨테이너 하네스가 이미 있는 플랫폼 팀이라면 그냥 끼워 넣으면 됩니다.
하루를 날리지 않고 범위 정하는 법
스킬은 저장소 전체를 기꺼이 감사합니다. 그게 첫 수순으로는 틀린 선택입니다. 서비스 하나나 디렉터리 하나를 지정하고, 공격자의 실수가 가장 비싸지는 지점을 겨냥하세요. 요청 파서, 인증 미들웨어, 파일 업로드 경로, 다른 테넌트의 데이터와 대화하는 코드 같은 곳입니다.
그리고 발견보다 원장을 먼저 읽으세요. 원장이 얇으면 발견도 얇고, REPORT.md의 문장이 아무리 많아도 메우지 못합니다. 원장은 이 워크플로 전체에서 '무엇을 보지 않았는지' 알려주는 유일한 산출물이고, '보지 않은 것'이 결국 뚫리는 지점입니다.
두 번째 실행도 예산에 넣으세요. 설계 자체가 반복 패스로 커버리지를 늘린다고 가정하고, Cloudflare가 공개한 숫자를 정직하게 읽으면 첫 패스에서 절반 정도를 얻습니다. 한 번만 돌린다면 결과 절반에 값을 다 치르는 셈입니다.
실제로 잘하는 것
파일 목록을 보면 깊이가 어디에 있는지 알 수 있습니다. 메모리 안전성과 바이너리, 프롬프트 인젝션과 에이전트·도구 처리, HTTP 요청 프레이밍과 인증 프로토콜, DOM 인젝션과 프로토타입 오염, 공급망과 릴리스 서명, IAM과 컨테이너·서버리스 설정, RPC와 큐·웹훅, 자원 고갈, 테넌트 격리와 데이터 생명주기, 데스크톱·모바일 로컬 IPC에 각각 사냥 등급 문서가 있습니다.
도메인 열 개, 각각 별도의 프롬프트 팩입니다. “당신은 보안 전문가입니다”라는 서문 하나보다 훨씬 정직한 구조입니다. 대상에 맞는 등급만 불러오게 하니, 전 영역을 커버한다고 환각하는 일이 줄어듭니다.
당연한 질문에 대한 답도 명시돼 있습니다. 한 번으로는 부족하다는 것. Cloudflare 자체 테스트에서 단일 실행은 반복 실행이 찾아낸 취약점 전체의 절반 정도를 찾았습니다. 그래서 이 스킬은 누적을 전제로 설계됐습니다. 이후 실행은 이전 원장과 발견을 읽고, 빈 곳을 겨냥하고, 바뀐 소스를 재검증하며, 낡았거나 미해결인 작업을 커버된 것으로 취급하지 않습니다.
제가 반박하고 싶은 지점
두 가지입니다.
첫째, 커버리지 원장은 서류 작업이 될 수 있습니다. 확인한 단위마다 근거를 대야 하는 헌터는 결국 코드가 아니라 원장을 만족시키는 확인을 쓰기 시작합니다. 검증 스크립트는 JSON이 잘 짜였다는 것만 증명합니다. 사냥이 정직했다는 것까지는 증명하지 못합니다.
둘째, 여섯 단계 구조는 비쌉니다. 여섯 단계, 격리된 헌터, 새 검증자, 중요한 대체물마다 독립 재검증. 중간 규모 저장소에서는 토큰도 시간도 상당히 듭니다. README는 심각도를 체크리스트 이탈이 아니라 가능성 곱하기 영향으로 뽑아야 한다고 솔직히 말하지만, 프로세스 자체가 체크리스트이고, 4만 줄짜리 서비스를 릴리스 직전에 이걸로 돌리는 건 현실적이지 않습니다.
제 판단은 Cloudflare가 쓰는 방식으로 쓰라는 것입니다. 커밋마다 거는 게이트가 아니라, 틀렸을 때 비싼 시스템 일부에 정기적으로 돌리는 깊은 패스. 샌드박스를 갖춰 두고, 발견이 이론이 아니라 관측이 되게 해서요.
이 도구가 세우는 기준은 “버그를 찾느냐”가 아닙니다. “증명하지 못한 것에 대해 거짓말하기를 거부하느냐”입니다. 들리는 것보다 낮은 기준이고, 이 범주에서 그걸 통과하는 물건은 거의 없습니다.
관련 글
중국산 안드로이드 시스템 UI의 광고를 끄는, 커뮤니티가 관리하는 탭 표
시스템을 건드리지 않고, 잠금 해제도, 플래싱도 하지 않는다. 제조사가 이미 열어 둔 스위치를 하나씩 뒤집을 뿐이다. 대가는 이 목록을 계속 써 줄 사람이 필요하다는 것이다.
GPT Image 2.6, 토큰 단가는 그대로 두고 청구서를 올렸다
GPT Image 2.6은 2.5의 토큰 단가를 하나도 바꾸지 않았는데 이미지 한 장 값은 올랐다. 작업의 상당 부분이 이제 출력 토큰에서 일어나기 때문이다. 출시 11일째, 가격 구조가 순위표보다 많은 것을 말한다.
IDM을 바깥에서 다시 만든 사람이 손대지 않은 부분을 적어 두었다
Mister Download Manager는 Internet Download Manager의 흐름을 Rust로 다시 구현해 5배 속도와 86개 언어를 내건다. 더 흥미로운 문서는 아무것도 복사하지 않고 어떻게 만들었는지 설명하는 문단이다.
Rune은 에이전트가 자기 작업을 검증할 수 있도록 만든 Rust UI 프레임워크
Rune은 헤드리스로 렌더링하고 요소 트리를 덤프하며 스크립트 입력을 받는다. 스크린샷으로는 얻을 수 없는, diff 가능한 신호를 코딩 에이전트에게 준다. 프레임워크는 프리릴리스이며 풀 리퀘스트를 받지 않는다.