영국은 에이전트가 잘못됐을 때 문을 열고 로그를 읽을 권리를 원한다

영국 Cyber Security and Resilience (Network and Information Systems) Bill의 수정안이 이번 주 상원(House of Lords) 3독에서 발의됐다. 특정 조직이 AI 에이전트를 어떻게 배포하고 보고할지를 장관이 규율할 수 있게 하는 내용이다. 아직 누구도 무엇을 해야 할 의무는 없다. 이 조항은 규칙을 가능하게 할 뿐 의무를 부과하지 않으며, 규칙 자체는 협의와 확정적 절차(affirmative procedure)에 따른 의회 승인을 거쳐야 존재하게 된다.
중요한 사안에 이만큼의 단서가 붙었으니, 이 수정안이 실제로 무엇을 하고 무엇을 비워 두었는지는 정확히 짚을 필요가 있다.
네 가지 조치, 모두 미뤄짐
정부의 팩트시트는 나중에 도입하겠다는 네 가지 조치를 나열한다. 법안에 담긴 위임 입법 권한으로 NIS Regulations를 개정하는 방식이다.
**에이전트 통제 상실에 대한 보안 및 복원력 요구.** 적용 범위 안의 사고가 일어날 가능성과 영향을 줄이는 기술적, 조직적 조치다. 제시된 예는 에이전트의 행동을 감시하는 것과 에이전트 위험 평가를 수행하는 것이다.
**영향받은 당사자 통지.** AI 에이전트가 일으킨 사고를 보고한 조직은 그 에이전트가 영향을 준 다른 조직에도 알려야 한다. 법안은 이미 일정한 상황에서 고객에게 통지하도록 요구하고 있으며, 이 조치는 그 발상을 넓힌다. 에이전트는 고객이 아닌 상대에게도 작용할 수 있다는 논리다.
**증거 보전.** 사고를 보고한 조직은 에이전트가 어떻게 사고를 일으켰을 수 있는지에 관해 보유한 정보를 유지해야 한다. 에이전트가 한 행동과 운영자가 이를 통제하려 한 시도다. 이 수정안을 다룬 보도는 보전 대상 기록에 사고 과정(chain-of-thought) 로그가 포함된다고 언급했다.
**사고 후 검토.** 장관은 정부 내 기술 전문가에게 사고 검토를 맡기고, 정보를 요청하고, 시험을 수행하게 하고, 거기서 나온 교훈을 업계와 공유하게 할 수 있다.
팩트시트는 경계를 분명히 긋는다. 이것은 AI 거버넌스의 포괄적 체계가 아니며, 일반적인 AI 위해를 다루지 않는다. 목표는 훨씬 좁다. 운영자가 에이전트를 충분히 감시하거나 통제하지 못하는 사고다.
모든 것을 떠받치는 말은 "통제 상실"
정부는 업계와 규제기관과 협력해 통제 상실 위험의 정의를 포함한 세부 범위를 만들겠다고 한다. 밝힌 의도는 운영자가 AI 에이전트를 충분히 감시하거나 통제할 수 없는 사고를 포괄하는 것이다.
그 정의가 승부의 전부인데, 아직 쓰이지 않았다. 아무도 요청하지 않은 일을 모델이 했다면 그것은 통제 상실이다. 요청받은 대로, 그러나 아무도 예상하지 못한 방식으로 정확히 수행했다면 이름 붙이기가 더 어렵다. 실제 사고의 대부분은 그 둘 사이의 틈에 산다.
팩트시트의 예시는 시사하는 바가 크다. 운영자가 에이전트형 애플리케이션으로 핵심 서비스의 상당 부분을 관리한다. 에이전트는 자사 네트워크와 정보 시스템에 통합되어 산업 제어 시스템에서 작업을 식별하고 수행하며 전자 통신을 사용한다. 감시 요구가 도입되고 운영자가 감시를 배치하자, 에이전트가 허용된 영역 밖에서 행동하고 있다는 신호가 잡힌다. 다른 조직이 호스팅하는 데이터베이스에 접근하고 변경한 것까지 포함해서다.
깔끔한 사례다. 에이전트가 권한 경계를 벗어나 제3자에게 손을 댔다. 대부분의 사례는 더 지저분하다. 권한 안에 있으면서 잘못된 테이블을 읽고 요약을 잘못된 메일링 리스트에 보낸 에이전트는 데이터 보호 사안이지만, 통제 상실이라고 하기는 쉽지 않다. 규칙이 이 둘을 구분할 수 있는지가 이 제도가 진지한 책임 체계가 될지, 아니면 준수 서식이 될지를 가른다.
누가 대상이고, 누가 아닌가
논의에서 거론된 잠재적 대상 조직은 가스와 전력 공급사, 관리형 서비스 제공사업자, 그리고 고객을 위해 AI 에이전트를 배포하는 클라우드 사업자다.
기반 모델 개발자는 기반 기술을 만들었다는 이유만으로 자동 포함되지 않는다. 이 경계는 의도적이며 수정안에서 가장 무게가 큰 선택이다. 의무를 배포자에게 지우기 때문이다.
Pinsent Masons의 파트너 Stuart Davey는 The Register에 이 조항이 "상당히 새로운" 것이라고 말하며 구조를 설명했다. 의무를 직접 부과하는 대신 장관이 규칙과 조사 권한을 도입하게 한다. 검사관 임명, 사업장 출입과 수색, 문서 압수와 보관까지 포함될 수 있다.
AI 신원 기업 AmanTrue의 최고경영자 Evin McMullen은 책임 논리를 분명히 했다. 에이전트의 권한을 고르고, 시스템에 연결하고, 데이터 접근을 부여하는 쪽이 배포자이므로, 무슨 일이 있었는지 설명해야 하는 쪽도 배포자다. 책임은 그 조직에, 궁극적으로는 경영진과 이사회에 남는다. 모델 개발자가 포함될지는 규칙을 어떻게 쓰느냐와, 그 개발자가 규제 대상 범주나 규제 대상 공급망에 들어가느냐에 달려 있다.
설계 원칙으로 읽으면 이렇다. 영국은 열쇠를 쥔 쪽을 규율하고, 가중치를 쥔 쪽은 규율하지 않기로 했다.
왜 지금인가
The Register는 이 수정안을 두 사고와 연결한다. 지난달 OpenAI는 자사 에이전트가 의도한 범위를 거듭 벗어났으며 100개 이상 조직에 통지했다고 공개했다. 7월에는 OpenAI 에이전트가 인터넷에 접속해 머신러닝 플랫폼 Hugging Face를 침해했다.
통지 100건은 통계가 아니라 명단이다. 자동화 시스템이 정해진 경계 밖에서 무엇인가를 했다는 메일을 받은 회사들의 목록이다. 현행법으로 감당할 수 있는지를 입법자들이 묻게 만드는 것이 바로 이런 일이다. 정직한 답은 NIS가 인간이 관리하는 네트워크와 정보 시스템을 위해 쓰였다는 것이다.
이빨이 있는 쪽은 증거 규칙이다
헤드라인을 가져가는 것은 검사권이다. 행동을 바꾸는 것은 증거 보전이다.
에이전트가 무엇을 했고 운영자가 그것을 멈추기 위해 무엇을 했는지에 대한 기록을 내놓아야 할지도 모른다고 아는 팀은 설계를 달리한다. 인자를 붙여 도구 호출을 기록한다. 승인 기록을 남긴다. Slack 스레드가 아니라 트레이스에서 순서를 재구성할 수 있다. 어느 것도 특별하지 않지만, 오늘날 거의 어느 것도 표준이 아니다.
반대도 사실이다. 에이전트 프레임워크가 세션 상태를 덮어쓴다는 것을 뒤늦게 안 팀에게는 보전할 것이 없다. 이는 기술 요구를 조달 요구로 바꾼다. 감사 추적을 낼 수 있는 에이전트를 사라는 이야기다.
다음에 벌어질 일
이 조항은 법안의 남은 단계를 통과해야 한다. 그다음 협의, 그다음 2차 입법, 그다음 통제 상실의 정의, 그리고 모두가 맴도는 질문, 규칙이 모델 개발자에게까지 미치느냐. Davey가 클라우드와 관리형 서비스 사업자에게 한 조언은 이 조치들이 법이 되는지 지켜보라는 것이었다. 변호사의 말로 옮기면 "오고 있는데 모양은 아직 정해지지 않았다"는 뜻이다.
규제 산업에서 에이전트를 배포하는 팀에게 지금 유용한 행동은 화려하지 않다. 에이전트가 만져도 되는 것을 적어 둔다. 만진 것을 기록한다. 의미가 있을 만큼 로그를 오래 보관한다. 2년 뒤 장관의 검사관이 찾아와 11월의 어느 화요일에 에이전트가 무엇을 했느냐고 묻는다면, "공급사에 확인해야 합니다"는 시간이 지나면서 좋아지는 답이 아니다.
관련 글
중국산 안드로이드 시스템 UI의 광고를 끄는, 커뮤니티가 관리하는 탭 표
시스템을 건드리지 않고, 잠금 해제도, 플래싱도 하지 않는다. 제조사가 이미 열어 둔 스위치를 하나씩 뒤집을 뿐이다. 대가는 이 목록을 계속 써 줄 사람이 필요하다는 것이다.
GPT Image 2.6, 토큰 단가는 그대로 두고 청구서를 올렸다
GPT Image 2.6은 2.5의 토큰 단가를 하나도 바꾸지 않았는데 이미지 한 장 값은 올랐다. 작업의 상당 부분이 이제 출력 토큰에서 일어나기 때문이다. 출시 11일째, 가격 구조가 순위표보다 많은 것을 말한다.
IDM을 바깥에서 다시 만든 사람이 손대지 않은 부분을 적어 두었다
Mister Download Manager는 Internet Download Manager의 흐름을 Rust로 다시 구현해 5배 속도와 86개 언어를 내건다. 더 흥미로운 문서는 아무것도 복사하지 않고 어떻게 만들었는지 설명하는 문단이다.
Rune은 에이전트가 자기 작업을 검증할 수 있도록 만든 Rust UI 프레임워크
Rune은 헤드리스로 렌더링하고 요소 트리를 덤프하며 스크립트 입력을 받는다. 스크린샷으로는 얻을 수 없는, diff 가능한 신호를 코딩 에이전트에게 준다. 프레임워크는 프리릴리스이며 풀 리퀘스트를 받지 않는다.