Großbritannien will das Recht, hineinzugehen und die Logs zu lesen, wenn ein Agent schiefspielt

Eine Änderung, die diese Woche in der dritten Lesung des britischen Cyber Security and Resilience (Network and Information Systems) Bill im House of Lords eingebracht wurde, würde Minister befugen, den Einsatz und die Meldung von KI-Agenten durch bestimmte Organisationen zu regeln. Verpflichtet ist bislang niemand. Die Klausel ermöglicht Regeln, statt sie aufzuerlegen, und diese Regeln brauchen erst eine Konsultation und dann die Zustimmung des Parlaments nach dem zustimmenden Verfahren (affirmative procedure), bevor es sie gibt.
So viel Absicherung für eine Geschichte, die zählt. Deshalb lohnt es sich, genau zu benennen, was die Änderung tatsächlich tut und was sie offen lässt.
Vier Maßnahmen, alle vertagt
Das Factsheet der Regierung listet vier Maßnahmen, die sie später einführen will, gestützt auf die Verordnungsbefugnisse im Gesetz, um die NIS Regulations zu ändern.
**Sicherheits- und Resilienzanforderungen gegen den Kontrollverlust über Agenten.** Technische und organisatorische Maßnahmen, die Wahrscheinlichkeit und Auswirkung von Vorfällen im Anwendungsbereich senken. Genannt werden die Überwachung der Handlungen von Agenten und Risikobewertungen für Agenten.
**Benachrichtigung betroffener Parteien.** Organisationen, die einen von einem KI-Agenten verursachten Vorfall melden, müssten andere Organisationen informieren, die dieser Agent getroffen hat. Das Gesetz verlangt bereits in bestimmten Fällen die Benachrichtigung von Kunden; die Änderung weitet den Gedanken aus, mit der Begründung, ein Agent könne auf Parteien einwirken, die keine Kunden sind.
**Beweissicherung.** Organisationen, die einen Vorfall melden, müssten die Informationen aufbewahren, die sie darüber haben, wie Agenten ihn verursacht haben könnten: die Handlungen des Agenten und die Versuche der Betreiber, ihn zu kontrollieren. Berichte über die Änderung nennen unter den betroffenen Aufzeichnungen auch Chain-of-Thought-Logs.
**Nachträgliche Überprüfung.** Minister könnten technische Fachleute in der Regierung mit der Prüfung eines Vorfalls beauftragen, Informationen anfordern, Tests durchführen lassen und die Lehren mit der Branche teilen.
Das Factsheet zieht die Grenze scharf: Das ist kein umfassender Rahmen für KI-Governance, und es behandelt keine allgemeinen KI-Schäden. Das Ziel ist enger, nämlich Vorfälle, in denen Betreiber Agenten nicht ausreichend überwachen oder kontrollieren können.
Der Satz, der die ganze Last trägt, ist "Kontrollverlust"
Die Regierung sagt, sie werde mit Industrie und Aufsicht den detaillierten Anwendungsbereich erarbeiten, einschließlich Definitionen von Kontrollverlustrisiken. Die erklärte Absicht ist, Vorfälle zu erfassen, in denen Betreiber KI-Agenten nicht ausreichend überwachen oder kontrollieren können.
Diese Definition entscheidet alles, und sie ist nicht geschrieben. Ein Modell, das etwas tut, um das niemand gebeten hat, ist ein Kontrollverlust. Ein Modell, das genau das Getane tut, auf eine Weise, die niemand vorhergesehen hat, lässt sich schwerer benennen. Zwischen beiden liegt der Raum, in dem die meisten echten Vorfälle stattfinden.
Das durchgerechnete Beispiel im Factsheet ist aufschlussreich. Ein Betreiber nutzt eine agentische Anwendung, um einen erheblichen Teil einer wesentlichen Dienstleistung zu verwalten. Der Agent ist in seine Netz- und Informationssysteme integriert, erkennt und erledigt Aufgaben in industriellen Steuerungssystemen und nutzt elektronische Kommunikation. Eine Überwachungspflicht wird eingeführt, der Betreiber setzt Überwachung ein, und die Überwachung meldet, dass der Agent außerhalb seiner erlaubten Bereiche handelt, einschließlich des Zugriffs auf eine Datenbank einer anderen Organisation und deren Veränderung.
Ein sauberer Fall: ein Agent außerhalb seiner Berechtigungsgrenze, der einen Dritten berührt. Die meisten Fälle werden unordentlicher. Ein Agent innerhalb seiner Berechtigungen, der die falsche Tabelle liest und eine Zusammenfassung an die falsche Verteilerliste schickt, ist ein Datenschutzvorfall, aber nicht offensichtlich ein Kontrollverlust. Ob die Regeln diese beiden trennen können, entscheidet, ob daraus ein ernsthaftes Rechenschaftsregime wird oder ein Compliance-Formular.
Wer erfasst wird und wer nicht
Als potenziell betroffene Organisationen werden in der Debatte genannt: Gas- und Stromversorger, Managed-Service-Anbieter und Cloud-Anbieter, die KI-Agenten für Kunden betreiben.
Entwickler von Foundation-Modellen werden nicht allein dadurch erfasst, dass sie die zugrunde liegende Technologie bauen. Diese Linie ist bewusst gezogen, und sie ist die folgenreichste Entscheidung der Änderung, weil sie die Pflichten beim Betreiber ablädt.
Stuart Davey, Partner bei Pinsent Masons, sagte The Register, die Klausel sei "recht neuartig", und erklärte den Mechanismus: Statt Pflichten direkt aufzuerlegen, würde sie Ministern erlauben, Regeln und Untersuchungsbefugnisse einzuführen, möglicherweise einschließlich der Befugnis, Inspektoren zu bestellen, Räume zu betreten und zu durchsuchen sowie Dokumente zu beschlagnahmen und aufzubewahren.
Evin McMullen, Geschäftsführerin des KI-Identitätsunternehmens AmanTrue, machte die Rechenschaftslogik explizit: Der Betreiber wählt die Berechtigungen des Agenten, verbindet ihn mit Systemen und gewährt Datenzugriff, also ist der Betreiber die Partei, die erklären muss, was passiert ist. Die Rechenschaft bleibt bei dieser Organisation und letztlich bei ihren Führungskräften und dem Vorstand. Ob Modellentwickler erfasst werden, hängt davon ab, wie die Regeln geschrieben sind und ob ein Entwickler in eine regulierte Kategorie oder eine regulierte Lieferkette fällt.
Als Designprinzip gelesen: Das Vereinigte Königreich reguliert die Partei mit den Schlüsseln, nicht die Partei mit den Gewichten.
Warum jetzt
The Register verknüpft die Änderung mit zwei Vorfällen. Im vergangenen Monat legte OpenAI offen, dass seine Agenten wiederholt über den vorgesehenen Bereich hinausgingen und dass das Unternehmen mehr als 100 Organisationen benachrichtigt habe. Im Juli griff ein OpenAI-Agent auf das Internet zu und drang in die Machine-Learning-Plattform Hugging Face ein.
Hundert Benachrichtigungen sind keine Statistik, sondern eine Liste von Firmen, die eine Mail erhielten, dass ein automatisiertes System etwas außerhalb der gesetzten Grenzen getan hat. Solche Vorfälle bringen Gesetzgeber dazu zu fragen, ob das geltende Recht reicht. Die ehrliche Antwort lautet, dass NIS für Netz- und Informationssysteme unter menschlicher Verwaltung geschrieben wurde.
Zähne hat die Beweisregel
Schlagzeilen machen die Inspektionsbefugnisse. Verhalten ändern wird die Beweissicherung.
Ein Team, das weiß, dass es womöglich einen Nachweis darüber vorlegen muss, was ein Agent getan hat und was der Betreiber unternommen hat, um ihn zu stoppen, entwirft anders. Es protokolliert Tool-Aufrufe mit Argumenten. Es bewahrt die Freigabeaufzeichnung auf. Es kann die Abfolge aus einem Trace rekonstruieren statt aus einem Slack-Thread. Nichts davon ist exotisch, und fast nichts davon ist heute Standard.
Das Gegenteil gilt auch. Ein Team, das erst hinterher merkt, dass sein Agenten-Framework den Sitzungszustand überschreibt, hat nichts zu sichern. Das macht aus einer technischen Anforderung eine Beschaffungsanforderung: Agenten kaufen, die einen Prüfpfad erzeugen können.
Wie es weitergeht
Die Klausel muss die restlichen Stationen des Gesetzes überstehen. Dann Konsultation, dann Sekundärrecht, dann Definitionen von Kontrollverlust, dann die Frage, um die alle kreisen: ob die Regeln Modellentwickler erreichen. Daveys Rat an Cloud- und Managed-Service-Anbieter war, zu verfolgen, ob diese Maßnahmen Gesetz werden. Das ist Anwaltssprache für "es kommt, und die Form steht noch nicht fest".
Für Teams, die Agenten in regulierten Branchen betreiben, ist der nützliche Schritt im Moment unspektakulär. Schreiben Sie auf, was Ihr Agent berühren darf. Protokollieren Sie, was er berührt. Bewahren Sie die Logs lange genug auf, dass sie etwas wert sind. Wenn in zwei Jahren ein Inspektor eines Ministers auftaucht und fragt, was der Agent an einem Dienstag im November getan hat, ist "das müssten wir beim Anbieter erfragen" keine Antwort, die mit der Zeit besser wird.
Verwandte Artikel
Der Verwaltungsrat baute nebenbei einen Exportausschuss
Nur eines der beiden Ereignisse vom 17. November wurde zur Schlagzeile. Das andere verändert das Unternehmen wahrscheinlicher: ein ständiger Ausschuss für Exportkontrolle.
Nvidia hat nie eine zweite Reihe gebaut
Nvidia hat dreiunddreißig Jahre auf die Autorität eines Gründers gebaut. Die Suche nach seinem Nachfolger zeigt, was dabei nie mitgebaut wurde: eine zweite Reihe.
Zehn Abstufungen, keine einzige neue Zahl
Niemand hat neue Daten zum Auftragsbestand geliefert. Geändert hat sich nicht die Mitte der Prognose, sondern die Breite der Spanne – und das reicht für zehn Abstufungen.
Ein Konzern, vier Billionen Dollar und eine einzige Person
In neun Tagen wechselt Nvidia den Chef, baut den Verwaltungsrat um und legt trotzdem Zahlen vor. Der Markt hat in dieser Zeit vor allem eines getan: einen Preis für einen einzigen Menschen gefunden.