에이전트 거버넌스 레이어가 도착했다, 그리고 빠르게 출시되고 있다

2년 동안 AI 에이전트에 대한 질문은 역량이었다. 항공편을 예약할 수 있는가, 티켓을 발권할 수 있는가, 청구를 처리할 수 있는가. 그 질문은 이제 대체로 정리됐다. 적어도 기업들이 실제로 신경 쓰는 좁은 업무에서는 말이다. 새로운 질문은 거버넌스다. 에이전트가 실제 자격 증명을 가지고 프로덕션에서 돌아가기 시작하면, 기업은 어떻게 그것을 선 안에 붙잡아 둘 것인가.

10월에는 바로 그 목적을 위해 만들어진 제품들이 잇따라 등장했고, 그 패턴은 놓치기 어렵다.

OpenAI, 자사 에이전트를 위한 운영 레이어를 구축하다

OpenAI는 음성 및 채팅 에이전트 배포를 위한 운영 레이어라고 설명되는 Presence를 출시했다. 핵심 제안은 구조화된 통제다. 각 에이전트마다 업무 범위를 정의하고, 접근할 수 있는 지식을 제한하고, 허용되는 행동을 제한하며, 평가와 인간 에스컬레이션을 기본으로 붙인다. 출시 사례들은 시사하는 바가 크다. 기업들이 가장 넘기기를 꺼려 온 업무들을 직접 명시했기 때문이다. 결제 지원. 보험 청구. 직원 IT 요청.

이들은 에이전트가 돈과 개인 데이터, 그리고 기록 시스템에 접근하는 업무다. 또한 잘못된 행동의 비용이 크고 되돌리기 어려운 업무이기도 하다. Presence는 유능한 모델만으로는 충분하지 않다는 OpenAI의 인정으로 읽힌다. 모델은 질문에 답한다. 운영 레이어는 그 답이 행동으로 이어져도 되는지를 결정한다.

이미 돌아가고 있는 에이전트를 위한 두 번째 제품

Classie는 같은 필요에 맞춰 Supervise를 출시했으며, 이미 프로덕션에 들어간 에이전트에 대한 실시간 추적, 통제, 회계로 규정했다. 이 구분은 중요하다. Presence는 앞으로 배포할 에이전트를 위한 것이다. Supervise는 6개월 전에 가동됐고 아무도 부여한 기억이 없는 권한이 쌓여 있는, 더 지저분한 현실을 겨냥한다.

두 제품은 같은 시장을 반대편에서 설명하고 있으며, 함께 하나의 전환을 표시한다. 구매자는 더 이상 에이전트가 업무를 완수할 수 있는지를 묻지 않는다. 구매자는 에이전트가 예상치 못한 일을 하는 날 무슨 일이 일어나고, 그것을 잡아내는 컨트롤 플레인이 있는지를 묻는다.

거버넌스 기업들, 에이전트를 플랫폼에 통합하다

OneTrust는 런타임 AI 거버넌스를 중심으로 플랫폼을 확장했다. 컨트롤 플레인, 커맨드 센터, 그리고 ChatGPT, Claude, Copilot, Glean과의 통합이다. 그 논지는 거버넌스가 배포 전에 이루어지는 문서화 작업일 수 없다는 것이다. 거버넌스는 행동이 발생하는 순간에 적용되고, 의사 결정의 증거를 보존하며, 기업이 이미 운영 중인 프라이버시 및 리스크 프로그램과 연결되어야 한다.

그 통합 지점이 진짜 이야기다. OneTrust 고객들은 새 대시보드를 원하지 않는다. 그들은 에이전트 감독이 이미 동의, 프라이버시, 데이터 리스크를 처리하는 동일한 시스템 안에 자리 잡기를 원한다. 감사 추적이 살아남아야 하는 곳이 바로 그곳이기 때문이다.

보안 벤더들도 반대편에서 같은 주장을 펼치고 있다. Red Hat의 CTO는 에이전트가 기업 시스템 전반에서 행동을 실행할 수 있는 순간 모델 수준의 안전장치는 더 이상 충분하지 않다는 생각을 밀어붙여 왔다. 보안 경계는 모델에서 그 주변의 아이덴티티, 런타임, 네트워크 레이어로 이동한다. 그 해석에서 에이전트는 더 똑똑한 챗봇이 아니라 배지를 단 새로운 종류의 내부자다.

감사 추적이 곧 제품이다

브랜딩을 걷어내면 제품들은 하나의 결과물로 수렴한다. 바로 기록이다. 누가 에이전트를 시작했고, 어떤 범위를 가졌고, 무엇을 읽었고, 무엇을 바꿨으며, 누가 결과를 승인했는가. 규제 산업은 수십 년간 사람에 대해 이 일을 해 왔다. 이를 스스로 행동하는 소프트웨어로 확장하는 것은 새로운 일이며, 도입을 막고 있는 바로 그 문제다.

Salesforce와 AWS도 Agentforce 360으로 같은 베팅을 했다. 이 제품은 모든 에이전트 결정에 대해 불변의 감사 추적을 생성하고, Bedrock을 통해 Claude에서 추론 엔진을 실행한다. CrowdStrike는 보안 옆의 조달 단순성을 이유로 일찍 합류했다. 고객이 역량과 같은 계약에서 거버넌스 스토리를 살 수 있을 때, 거래는 더 쉬워진다.

감독이 들리는 것보다 어려운 이유

제품들은 대시보드처럼 들린다. 그러나 그 이면에서 에이전트 거버넌스는 이번 10년 이전에는 존재하지 않았던 문제를 풀어야 한다. 즉흥적으로 행동하는 시스템의 올바른 행동을 어떻게 기술할 것인가.

전통적인 서비스는 프로그래밍된 대로 한다. 인간 직원은 규칙을 알고 있으며 결정에 대한 설명을 요구받을 수 있다. 에이전트는 그 둘 사이에 있다. 목표와 도구 세트를 가지고 스스로 단계를 선택한다. 그 자유가 가치의 원천이며, 동시에 리스크가 도사리는 곳이기도 하다. 에이전트가 특이한 요청을 처리할 수 있게 해주는 바로 그 유연성이 아무도 승인하지 않은 특이한 행동을 하게 만들기 때문이다.

거버넌스 제품들은 이 문제를 여러 각도에서 공략한다. 범위 제한은 에이전트가 시도할 수 있는 것을 정의한다. 지식 경계는 읽을 수 있는 것을 결정한다. 행동 승인은 되돌릴 수 없는 일이 벌어지기 전에 체크포인트를 삽입한다. 평가는 시간이 지나며 발생하는 성능 저하를 잡아내고, 인간 에스컬레이션은 에이전트가 불확실하다고 표시한 사례를 처리한다. 각각의 통제는 불완전하다. 겹쳐 놓으면 감독 없이 나쁜 결정이 누적될 수 있는 공간을 좁힌다.

미묘한 요구사항은 모든 것이 잘 돌아갈 때 통제가 보이지 않아야 한다는 점이다. 모든 일상 업무를 느리게 만드는 감독 레이어는 한 달 안에 꺼질 것이며, 보통은 그것을 요청했던 팀이 직접 끈다. 좋은 제품은 경계에서만 개입하는 제품이며, 이는 정책 엔진을 출시하는 것보다 훨씬 어려운 엔지니어링 요구사항이다.

구매 패턴도 함께 바뀌고 있다

이번 출시들에는 놓치기 쉬운 상업적 신호가 있다. 거버넌스 제품들은 모델 구독의 부가 기능으로 팔리지 않는다. 때로는 모델 학습과 아무 관련이 없는 회사가 플랫폼으로 판다.

이는 인식된 가치가 어디로 이동하는지 보여준다. 모델이 희소하고 눈부셨을 때는 모델이 곧 제품이었다. 이제 여러 모델이 같은 일에 충분히 좋아졌으니, 차별화 요소는 그것들을 둘러싼 것이 된다. 통제, 로그, 통합, 감사자에게 무슨 일이 있었는지 증명할 수 있는 능력이다. 구매자들은 에이전트를 시스템 그 자체가 아니라 거버넌스되는 시스템의 한 구성요소로 다루기 시작하고 있다.

이는 구매자가 바뀌었다는 뜻이기도 하다. 거버넌스 플랫폼에 서명하는 사람은 흔히 모델에 서명한 사람이 아니다. 보안, 리스크, 컴플라이언스 팀이 의사 결정에 들어오고 있으며, 그들은 다른 질문을 가져온다. 얼마나 똑똑한가가 아니라, 누가 그것을 끌 수 있는가, 무엇을 남기는가, 증거는 어디에 있는가. 그 청중을 위해 만들어진 제품은 데모 영상 옆에서 따분해 보이며, 바로 그 제품이 데모 영상을 배포 가능하게 만든다.

다음 단계에 대해 말해주는 것

거버넌스 제품들이 한꺼번에 등장하는 것은 보통 역량 단계가 끝나고 신뢰 단계가 시작되었음을 의미한다. 클라우드에서 그랬다. 컴플라이언스 도구가 인프라보다 몇 년 늦게 등장했다. 모바일에서도 그랬다. 기기 관리가 앱 폭발을 따라잡았다. 에이전트도 같은 곡선 위에 있으며, 다만 압축되어 있을 뿐이다.

지금 에이전트를 배포하는 누구에게나 실용적인 해석은 직설적이다. 처음부터 감독을 내장하라. 1년 동안 제멋대로 돌아간 에이전트에 컨트롤 플레인을 나중에 붙이는 것은 출시 전에 세우는 것보다 어렵다. 그리고 그렇게 할 도구가 마침내 선반에 올라와 있다. "거버넌스는 나중에 추가하자"가 합리적으로 들리던 시기는 끝났다.