Cohere, 엔터프라이즈 에이전트 지출에 확실한 상한선을 씌우다

Cohere가 10월 5일 North 2를 공개했다. 대규모 조직 내부에서 AI 에이전트를 운영하기 위해 판매하는 플랫폼을 전면 개편한 버전이다. 가장 눈에 띄는 기능은 지출 상한선이다.

관리자는 이제 개별 사용자나 에이전트 단위까지 토큰 사용량을 추적하고, 그룹별 소비 등급을 정의하며, 각 주체가 쓸 수 있는 금액에 상한을 설정할 수 있다. 한도에 도달하기 전에 경고가 발송된다. 이 제어 기능은 플랫폼의 관리 콘솔인 North Admin에 있다.

회계 기능처럼 들린다. 하지만 이는 엔터프라이즈 에이전트 도입이 왜 정체되는지에 대한 문제 제기로 이해하는 편이 낫다. Cohere의 설명에 따르면 기업들은 보안, 성능, 비용 통제 중 하나를 포기해야 나머지 둘을 얻을 수 있었다. 이번 신규 릴리스는 비용을 희생양으로 삼는 관행을 멈추려는 시도다.

오케스트레이션 레이어가 나머지 절반이다

지출 상한이 중요한 이유는 그 위에 올라가는 것들 때문이다.

North 2는 다단계 에이전트 작업을 실행하는 오케스트레이션 시스템을 교체한다. 새 버전은 작업을 스스로 처리하되, 승인이 필요한 단계에서만 사람을 호출한다. 매 단계마다 승인을 요구하지 않는다. 단일 프롬프트로 만든 에이전트는 회사 전체에서 공유할 수 있어, 한 팀이 구성한 워크플로를 다른 팀이 다시 만들 필요가 없다. 메모리는 세션 간에 유지된다. 에이전트가 반복적으로 호출하는 로직을 패키징하는 스킬 기능과, 모든 에이전트가 접근할 수 있어야 하는 문서용 공유 라이브러리도 있다.

자연어 요청만으로 플랫폼은 슬라이드 덱, 대시보드, 또는 사용자가 채팅 창 안에서 프로토타이핑하는 경량 애플리케이션을 만들어낼 수 있다. 반복적인 프로세스를 위해서는 사전 제작된 템플릿과 성능 보고 기능이 붙은 드래그 앤 드롭 워크플로 빌더가 있다.

커넥터 라이브러리는 Slack, GitHub, SharePoint, OneDrive를 지원하며, PitchBook, S&P Global, FactSet 등 금융 데이터 제공업체에 대한 추가 지원도 계획되어 있다. North는 2025년 8월부터 정식 제공되었으며, Cohere는 금융 및 공공 부문에서의 1년간 프로덕션 배포 경험이 이번 업그레이드의 내용을 결정했다고 밝혔다.

지출 제어가 흥미로운 부분인 이유

무인으로 실행되는 에이전트는 무인으로 요금을 쌓아올릴 수 있는 에이전트다. 많은 엔터프라이즈 배포가 파일럿 단계에 머무는 운영상의 현실이 바로 이것이다.

다단계 에이전트 루프는 수많은 모델 호출을 만든다. 그중 일부는 값싼 분류 호출이고, 일부는 비용이 큰 추론 패스다. 에이전트별 회계가 없으면 단일 워크플로의 비용은 청구서가 도착할 때까지 보이지 않으며, 그때는 이미 그 비용을 초래한 의사결정에 귀속시킬 수 없다.

Cohere의 제어 기능은 이 문제를 정면으로 다룬다. 사용자별·에이전트별 추적은 운영자에게 어떤 워크플로가 그 비용을 감당할 가치가 있는지 답할 데이터를 제공한다. 소비 등급은 기업이 에이전트에게 권한 대신 예산을 부여할 수 있게 한다. 상한선은 끝이 열린 약정을 범위가 정해진 약정으로 바꾼다.

돈과 덜 관련된 두 번째 효과도 있다. 토큰 사용 상한은 누군가 개입하기 전까지 에이전트가 얼마나 잘못될 수 있는지에 대한 상한이기도 하다. 통제 불능의 청구서를 막는 바로 그 메커니즘이 통제 불능의 루프도 막아주며, 이는 지출 한도를 재무적 통제만큼이나 안전 통제로 만들어준다.

협상 포지션으로서의 모델 비종속성

North 2는 관리자가 팀에 모델을 할당할 수 있게 하며, 고객이 Cohere 외부에서 가져온 모델도 포함된다. 이것은 조달 단계에서 중요하다. 대안은 부서를 특정 벤더의 가격 정책에 묶어버리는 결정이기 때문이다.

Cohere는 경제성을 확보하기 위해 Nvidia와의 협업에 기대고 있으며, 자사 모델이 Blackwell과 Hopper 하드웨어에서 노드당 초당 더 많은 토큰을 생성한다고 주장한다. Nvidia의 생성형 AI 담당 부사장인 Kari Briski는 그 결과를 '더 적은 비용으로 더 많은 토큰'이라고 표현했다.

보안 제어 기능도 같은 콘솔에 있다. 가드레일은 개별 에이전트에 적용할 수 있다. 이 검사는 프롬프트와 응답에 포함된 개인 식별 정보와 프롬프트 인젝션 시도를 탐지한다. 자율성 정책은 각 에이전트를 권한이 부여된 작업으로 제한한다. North는 온프레미스 또는 고객의 가상 프라이빗 클라우드에서 실행되며, 외부 연결을 허용하지 않는 조직을 위한 에어갭(Air-gapped) 설치도 포함된다.

고객 사례가 보여주는 제품의 용도

Bell Canada의 Bell Cyber 부문은 자체 보안 운영 조직 안에서 North를 운영한다. 이 부문의 최고 기술 및 AI 책임자인 Jawed Ahmad는 이 플랫폼 덕분에 고객이 요구하는 통제와 주권 요건이 이미 내장된 상태로 에이전트형 AI를 운영할 수 있다고 말했다. 한국의 LG CNS는 North를 내부에서 운영하고 재판매한다. Cohere의 초기 투자자인 Radical Ventures는 창업자 통화 전에 팀이 읽는 브리핑을 준비하는 자동화를 구축해, 수 시간의 수동 컨텍스트 수집을 대체했다.

세 사례는 공통된 형태를 지닌다. 각각 사람이 담당하던, 비용과 리스크가 이미 알려진 기존 워크플로다. 에이전트는 새로운 프로세스를 만들어내는 것이 아니라 확립된 프로세스에 끼워 넣어진다. 바로 이 지점에서 지출 상한이 쓸모를 갖는다. 새로운 일을 하는 에이전트에는 예산을 세울 수 없다. 팀이 이미 하는 일을 하는 에이전트에는 예산을 세울 수 있다.

이 릴리스가 합병 3주 후에 나온 이유

North 2는 Cohere가 독일의 Aleph Alpha와 합병 계약을 체결한 지 3주도 지나지 않아 등장했다. 합병 법인의 이름은 Cohere로 유지된다. 독일어와 영어에 특화된 780억 파라미터 오픈 웨이트 모델인 Aleph Alpha의 Kolibri는 North가 공략하는 것과 같은 주권 지향적 구매자를 겨냥한다.

두 움직임은 하나의 논리로 읽힌다. Aleph Alpha는 특정 관할권에서 학습·운영되고 특정 언어에 맞춰 조정될 수 있는 모델을 공급한다. North 2는 그 모델이 실행되는 플랫폼을 공급하며, 규제 대상 구매자가 무언가를 배포하기 전에 필요로 하는 비용 회계와 권한 관리를 갖추고 있다. 어느 한쪽만으로는 충분하지 않으며, 이 조합을 판매 가능하게 만드는 것이 바로 합병이다.

이것이 온프레미스와 에어갭 배포를 강조하는 이유를 설명한다. 데이터가 어디에 있는지를 가장 중요하게 여기는 고객은 순수 클라우드 호스팅 에이전트 플랫폼을 쓸 수 없는 고객이며, 별도 배포에 비용을 지불할 예산을 가진 고객이기도 하다. 캐나다 보안 부문과 한국 IT 서비스 기업으로 구성된 고객 목록이 이 패턴에 부합한다.

이 제어 기능이 해결하지 못하는 것

지출 상한은 투박한 도구이며, 볼 수 없는 것들이 있다.

에이전트 비용 회계에서 가장 어려운 문제는 귀속이다. 세 에이전트가 문서 라이브러리, 스킬 패키지, 모델 엔드포인트를 공유하는데 그중 하나가 1,000달러가 드는 워크플로를 실행한다면, 상한은 그 호출을 수행한 에이전트에서 발동한다. 그 에이전트가 비용을 유발한 것인지 아니면 단지 물려받은 것인지는 에이전트별 미터로는 답할 수 없는 별개의 문제다.

상한에 도달했을 때 사용자가 무엇을 하는지도 문제다. 워크플로 중간에 멈춘 에이전트는 작업을 알 수 없는 상태로 남기고, 한도가 해제된 뒤 재개되는 시스템은 그 사이에 무슨 일이 있었는지 조정해야 한다. Cohere는 North 2가 이를 어떻게 처리하는지 설명하지 않았으며, 이 운영상의 세부 사항이 이 제어 기능이 일상적으로 쓸 만한지를 결정한다.

더 검증하기 쉬운 주장은 예산이 있는 에이전트가 그렇지 않은 에이전트보다 배포될 가능성이 높다는 것이다. North 2가 걸고 있는 것이 바로 이것이며, 앞으로 12개월간의 엔터프라이즈 배포가 그 베팅이 옳았는지 말해줄 것이다.

이번 릴리스가 나란히 놓인 맥락

North 2는 Cohere가 독일의 Aleph Alpha와 합병 계약을 체결한 지 3주도 지나지 않아 등장했다. 합병 법인의 이름은 Cohere로 유지된다. 독일어와 영어에 특화된 780억 파라미터 오픈 웨이트 모델인 Aleph Alpha의 Kolibri는 North가 공략하는 것과 같은 주권 지향적 구매자를 겨냥한다.

그것이 North 2가 겨냥해 만들어진 시장이다. 가장 뛰어난 에이전트를 원하는 기업이 아니라, 감사자에게 에이전트를 정당화해야 하는 기업이다. 비용 통제, 에이전트별 권한, 온프레미스 배포가 바로 그 대화를 가능하게 하는 기능들이다.

풀리지 않은 문제는 이 제어 기능이 실제 사용에서 버티느냐다. 토큰 상한은 그 뒤의 회계만큼만 쓸모가 있으며, 공유 라이브러리, 공유 에이전트, 공유 컨텍스트 전반에 비용을 귀속시키는 일은 아직 해결된 문제가 아니다. Cohere의 답은 관리자가 사용자 및 에이전트 수준에서 사용량을 볼 수 있다는 것이며, 이는 완성품이 아니라 필요한 출발점이다.

더 검증하기 쉬운 주장은 예산이 있는 에이전트가 그렇지 않은 에이전트보다 배포될 가능성이 높다는 것이다. North 2가 걸고 있는 것이 바로 이것이며, 앞으로 12개월간의 엔터프라이즈 배포가 그 베팅이 옳았는지 말해줄 것이다.