Cloudflares security-audit ist ein Verfahren, kein Scanner

Die meisten Projekte, die sich „KI-Sicherheitsscanner“ nennen, sterben an derselben Stelle: Das Modell findet etwas, schreibt einen selbstsicheren Absatz darüber, und du verbringst die nächste Stunde damit herauszufinden, dass die „kritische RCE“ ein Test-Fixture ist.
Cloudflare hat letzte Woche ein Skill veröffentlicht, das genau um dieses Ergebnis herum gebaut ist. Es heißt security-audit, steht bei rund 57.000 Sternen mit etwa 10.000 Zuwachs in der vergangenen Woche und ist MIT-lizenziert. Ein Scanner ist es nicht. Es ist ein Verfahren.
Das README sagt ungewöhnlich direkt, woher es kommt: Dieses Skill war der Ausgangspunkt für den Harness zur Schwachstellensuche, den Cloudflares Engineering-Blog beschreibt und aus dem später ein mehrstufiges, flottenweites System wurde. Das öffentliche Repo ist der Einzel-Repo-Startpunkt, aus dem das Ganze gewachsen ist. Diese Herkunft erklärt den Ton. Niemand schreibt „Lücken in der Defense-in-Depth sind keine Schwachstellen“ als Regel auf, ohne je einen Bericht voll davon bekommen zu haben.
Sechs Phasen, ein Ledger
Der Ablauf läuft in fester Reihenfolge, und jede Phase schreibt Artefakte, die man prüfen kann.
Phase eins ist Aufklärung. Der Agent kartiert Architektur, Vertrauensgrenzen, Eingabeoberflächen und vorhandene Belege in architecture.md und legt ein coverage-ledger.json an. Dieses Ledger ist der Rücken des Ganzen: eine Liste von Einheiten, die abgedeckt werden müssen, validiert von einem Skript ohne Abhängigkeiten – nach dem Anlegen und nach jeder späteren Änderung.
Phase zwei ist die Suche entlang dieser Abdeckung. Isolierte Hunter bekommen Aufträge aus dem Ledger, halten fest, was sie geprüft haben, und Coverage-Kritiker suchen nach Lücken. Phase drei gibt jeden einzigartigen Kandidaten an einen frischen Verifier, dessen Aufgabe es ist, ihn zu widerlegen. Phase vier schreibt drei Urteile in findings.json und validiert gegen ein JSON-Schema. Phase fünf lässt frische Agenten die verbleibenden Quellcode-Behauptungen erneut prüfen. Phase sechs leitet die lesbaren Berichte aus den verifizierten Datensätzen ab.

Die drei Urteile sind der interessante Teil
Jeder Fund landet in einem von drei Eimern, und die Definitionen sind streng.
confirmed heißt: vollständiger Quellcode-Nachweis plus ein begrenztes, beobachtetes Ergebnis. needs_validation heißt: ein exakter, offener Fakt, ohne Schweregrad. rejected hält einen Kandidaten fest, der widerlegt wurde.
Der mittlere Eimer ist der, den die meisten Werkzeuge nicht haben, und der die Ausgabe brauchbar macht. Ein blockierter Hinweis mit der Begründung „wir konnten das nicht ausführen, weil die Sandbox nicht verfügbar war, und offen bleibt genau diese Frage“ ist mehr wert als ein gefälschtes Critical. Das Skill erzwingt das mechanisch: Ohne betriebssystemgestützte Sandbox bleibt der Hinweis auf needs_validation, statt dass Zielcode ausgeführt wird.
Die andere wichtige Regel ist organisatorisch, nicht technisch. Der Agent, der einen Fund prüft, ist nie der Agent, der ihn gefunden hat. Adversariale Validierung, wie das README sagt. Wer schon zugesehen hat, wie ein Modell seine eigene frühere Behauptung wegargumentiert, versteht, warum das nicht optional ist.
Die Installation ist ein Befehl, und das ist der leichte Teil
npx skills add https://github.com/cloudflare/security-audit-skill --skill security-audit
Für eine Installation auf Benutzerebene kommt --global dazu. Danach startest du deinen Coding-Agenten in dem Repository, das geprüft werden soll, und sagst etwas wie:
security audit this codebase
oder
do a security review, output to ~/audits/my-project
Das Skill aktiviert sich bei passenden Anfragen. Ein direkter Audit- oder Pentest-Auftrag startet den vollen Audit-Modus; eine Sicherheitsfrage startet einen Beratungsmodus, solange du keine Artefakte verlangst. Ohne angegebenes Ausgabeverzeichnis landen die Ergebnisse in ~/security-audit-skill/<repo-name>/run-<N>, und in das Ziel-Repo schreibt es nur, wenn du ausdrücklich ein Verzeichnis wählst, das die Versionsverwaltung ignoriert.
Dann kommt die Voraussetzung, die niemand liest, bis sie beißt. Du brauchst einen Coding-Agenten, dessen Modell Tool-Nutzung und parallele Subagenten beherrscht, Node für die Validatoren und eine betriebssystemgestützte Sandbox, die externes Netzwerk abschaltet, eine bereinigte Allowlist-Umgebung nutzt, Ressourcenlimits durchsetzt und Schreibzugriff nur auf zugewiesene Scratch-Pfade erlaubt.
Dieser letzte Satz ist das eigentliche Produkt. Ohne ihn funktioniert das Skill weiter, aber es verkommt zur Lesübung, weil es nichts aus dem Ziel baut, testet, fuzzt oder ausführt. Für einen Solo-Entwickler am Laptop ist das Aufsetzen dieser Sandbox ein echter Nachmittag Arbeit. Für ein Plattformteam, das ohnehin einen Container-Harness hat, fällt es einfach rein.
Wie man einen Lauf zuschneidet, ohne einen Tag zu verlieren
Das Skill prüft bereitwillig ein ganzes Repository, und das ist der falsche erste Schritt. Richte es auf einen Dienst oder ein Verzeichnis, und zwar auf den Teil der Codebasis, in dem ein Fehler eines Angreifers am teuersten wird: der Request-Parser, die Auth-Middleware, der Datei-Upload, die Stelle, die an die Daten eines zweiten Mandanten kommt.
Dann lies das Coverage-Ledger, bevor du die Findings liest. Ist das Ledger dünn, sind die Findings dünn, und kein Text in REPORT.md repariert das. Das Ledger ist im ganzen Ablauf das einzige Artefakt, das dir sagt, was nicht angesehen wurde – und „nicht angesehen“ ist genau das, was zum Einbruch führt.
Plane auch den zweiten Lauf ein. Das Design geht davon aus, dass wiederholte Durchgänge Abdeckung hinzufügen, und die ehrliche Lesart von Cloudflares eigenen Zahlen ist, dass der erste Durchgang etwa die Hälfte bringt. Wer nur einmal läuft, zahlt den vollen Preis für ein halbes Ergebnis.
Worin es tatsächlich gut ist
Die Dateiliste verrät, wo die Tiefe liegt. Es gibt Dokumente für Memory Safety und Binaries, für Prompt-Injection und den Umgang mit Agenten und Tools, für HTTP-Request-Framing und Auth-Protokolle, für DOM-Injection und Prototype Pollution, für Supply Chain und Release-Signierung, für IAM-, Container- und Serverless-Konfiguration, für RPC, Queues und Webhooks, für Ressourcenerschöpfung, für Mandantentrennung und Datenlebenszyklus und für lokale IPC auf Desktop und Mobil.
Zehn Domänen, jede ein eigenes Prompt-Paket. Das ist eine deutlich ehrlichere Struktur als ein einziges „Du bist Sicherheitsexperte“ als Vorwort, weil der Agent damit die Klassen lädt, die zum Ziel passen, statt Abdeckung über alle zu halluzinieren.
Auf die naheliegende Frage gibt es außerdem eine ausdrückliche Antwort: Ein Durchgang reicht nicht. In Cloudflares eigenen Testläufen fand ein einzelner Lauf rund die Hälfte der Schwachstellen, die wiederholte Läufe insgesamt zutage brachten. Das Skill ist also additiv gebaut: Spätere Läufe lesen das vorherige Ledger und die Findings, zielen auf Lücken, prüfen geänderten Quellcode erneut und weigern sich, veraltete oder ungeklärte Arbeit als abgedeckt zu behandeln.
Wo ich widersprechen würde
Zwei Dinge.
Erstens: Coverage-Ledger können zu Papierkram werden. Ein Hunter, der jede geprüfte Einheit rechtfertigen muss, schreibt irgendwann Prüfungen, die das Ledger zufriedenstellen, nicht den Code. Die Validator-Skripte beweisen, dass das JSON wohlgeformt ist. Dass ehrlich gesucht wurde, beweisen sie nicht.
Zweitens: Die Sechs-Phasen-Struktur ist teuer. Sechs Phasen, isolierte Hunter, frische Verifier, unabhängige Nachprüfung jedes materiellen Ersatzes – bei einem mittelgroßen Repo sind das viele Token und viel Uhrzeit. Das README sagt offen, der Schweregrad solle aus Wahrscheinlichkeit mal Auswirkung kommen und nicht aus Abweichung von einer Checkliste, aber der Prozess selbst ist eine Checkliste, und ihn vor einem Release auf einem Dienst mit 40.000 Zeilen laufen zu lassen ist nicht realistisch.
Meine Lesart: Nutze es so, wie Cloudflare es nutzt. Nicht als Gate bei jedem Commit, sondern als geplanten tiefen Durchgang für die Teile des Systems, in denen ein Irrtum teuer ist – mit Sandbox, damit die Funde tatsächlich beobachtet und nicht nur theoretisiert werden.
Die Messlatte, die das Ding setzt, ist nicht „findet es Bugs“. Sie ist „weigert es sich, über das zu lügen, was es nicht beweisen konnte“. Das ist eine niedrigere Latte, als es klingt, und fast nichts sonst in dieser Kategorie kommt darüber.
Verwandte Artikel
Eine community-gepflegte Tabelle von Taps, die Werbung in chinesischen Android-Builds abschaltet
Es fasst das System nicht an, entsperrt nichts, flasht nichts. Es legt nur die Schalter um, die die Hersteller ohnehin vorgesehen haben. Der Preis ist eine Liste, die jemand weiterführen muss.
GPT Image 2.6 hielt den Tokenpreis und erhöhte die Rechnung
GPT Image 2.6 übernimmt jeden Tokenpreis von 2.5 und kostet pro Bild dennoch mehr, weil ein größerer Teil der Arbeit in Ausgabe-Token landet. Elf Tage nach dem Start sagt die Preisstruktur mehr als jede Rangliste.
Jemand hat IDM von außen nachgebaut und aufgeschrieben, was er nicht angefasst hat
Eine Rust-Neuimplementierung von Internet Download Manager verspricht 5x Tempo und 86 Sprachen. Das interessantere Dokument ist der Absatz, der erklärt, wie sie ohne jede Kopie entstanden ist.
Rune ist ein Rust-UI-Framework, das gebaut wurde, damit ein Agent seine eigene Arbeit prüfen kann
Rune rendert headless, gibt seinen Elementbaum aus und nimmt geskriptete Eingaben an. Damit bekommt ein Coding-Agent ein Signal zum Diffen, das ein Screenshot nie liefert. Das Framework ist Pre-Release und nimmt keine Pull Requests an.