OpenAI 상시 가동 에이전트, 지시 없이 30만 토큰 소비

30만 토큰, 질문은 0개

OpenAI의 상시 가동형 “dot” 어시스턴트를 대상으로 한 독립 테스트에서, 사용자의 프롬프트가 단 한 번도 없는 상태에서 하루 만에 30만 토큰 이상을 소비하고, 155개의 활동 기록을 생성하며, 여러 개의 서브에이전트를 띄운 사실이 드러났다. 부여된 권한은 읽기 전용뿐이었다. 아무도 그것에게 무엇을 하라고 요청하지 않았다.

마지막 문장을 다시 읽어 보라. 이야기의 전부가 거기에 있다. 이 에이전트는 속은 것도 아니고, 하지 말라는 일을 한 것도 아니다. 그저 켜져 있었을 뿐이고, 켜져 있다는 사실 자체가 비싸다는 것이 드러났다.

요청하지 않은 청구서

시중의 다른 모든 AI 제품에는 뚜렷한 비용 경계가 있다. 무언가를 입력하면 토큰이 소비되고, 입력을 멈추면 미터기가 멈춘다. 머릿속 모델은 택시다. 타고 있는 동안에는 돈이 들고, 타지 않을 때는 들지 않는다.

앰비언트 에이전트는 이 모델을 깬다. 택시라기보다는 건물의 공조 시스템에 가깝다. 항상 무언가를 하고 있는데, 언제든 준비된 상태를 유지하려면 끊임없는 활동이 필요하기 때문이다. 트리거를 감시하고, 조건이 바뀌었는지 확인하고, 상황이 깨어날 만한지 판단하고, 깨어난다면 무엇을 할지 계획한다. 그 각각의 단계가 모델 호출이고, 모든 모델 호출에는 값이 붙는다.

여기서 불편한 발견은 에이전트가 돈을 썼다는 것이 아니다. 지출이 보이지 않게, 그리고 연속적으로, 인간의 지시가 아니라 에이전트 자신의 판단에 이끌려 일어났다는 점이다. 끝낼 세션이 없었다. 세션 자체가 없었기 때문이다. 그저 무엇이 할 만한 가치가 있는지에 대해 나름의 의견을 가진 백그라운드 프로세스가 있었을 뿐이다.

읽기 전용은 무해하지 않다

두 번째 놀라움은 권한 모델이다. 읽기 전용은 안전하게 들린다. 신중하고 싶을 때 고르는 그 조심스러운 설정처럼 들린다.

하지만 읽기 전용은 여전히 “모든 것을 관찰할 수 있다”는 뜻이다. 읽기 권한을 가진 에이전트는 메일, 문서, 메시지, 캘린더를 훑을 수 있고, 그 훑기 자체가 토큰을 소비하는 결정이다. 더 나쁜 것은, 관찰만으로도 다른 방식의 위험이 된다는 점이다. 본 것을 요약하는 상시 가동형 읽기자는 기능적으로 감시 시스템이다. 행동할 수 있는지의 문제는 이미 무엇을 배웠는지의 문제와 별개다.

더 미묘한 문제도 있다. 읽기 권한은 행동이 정당하다고 에이전트가 판단할 원재료를 준다. 그리고 “무언가를 알아차렸다”와 “그것에 대해 뭔가 해야 한다” 사이의 경계야말로 자율 시스템을 감독하기 어렵게 만드는 지점이다. 쓰기를 막는 권한 집합이, 무엇을 쓸지 결정하는 데 에이전트가 막대한 노력을 쏟는 것을 막아 주지는 않는다.

에이전트가 많아질수록 더 나빠지는 이유

여러 서브에이전트를 띄웠다는 세부 사항이야말로 엔지니어링 회의에서 눈썹을 올려야 할 부분이다. 도우미를 만들어 내는 것은 잘 작동하기 때문에 인기 있는 패턴이다. 작업을 쪼개고, 조각을 병렬 워커에 넘기고, 결과를 모은다. 하나의 컨텍스트 윈도에 담기엔 너무 큰 일을 에이전트가 처리하게 만드는 방법이다.

그것은 비용을 비선형으로 만드는 방법이기도 하다. 서브에이전트 셋을 띄우기로 결정한 에이전트가 있고, 그 셋이 각자 다른 것을 확인하기로 결정한다. 지출은 네 배가 아니다. 그 트리가 드는 만큼이며, 트리의 모양을 고른 것은 예산이 아니라 작업에 최적화된 모델이다.

이제 그 숫자를, 이 기능을 켜 두고 잊어버린 모든 사용자에게 곱해 보라. 상시 가동 에이전트의 경제학은 고객이 사용량을 통제하는 API 호출의 경제학과 다르다. 능동적으로 관리해야 하는 함대의 경제학에 가깝다. 다만 그 함대가 스스로 경로를 정한다는 점이 다르다.

사라진 세션 경계

텍스트 기반 어시스턴트는 우연히 유용한 안전 속성을 물려받았다. 대화가 끝난다는 것이다. 끝나면 에이전트는 멈추고, 컨텍스트는 해제되고, 정산이 마무리된다. 행동이 나쁜 에이전트조차 누군가 말을 걸 때만 동작한다는 사실에 의해 제약된다.

앰비언트 에이전트에는 그런 경계가 없다. 제품의 약속은 어시스턴트가 항상 거기 있다는 것이고, 이는 프로세스가 항상 돌고, 컨텍스트가 항상 살아 있으며, 모델이 무언가를 하기로 결정할 기회가 사실상 연속적이라는 뜻이다.

그것은 설계의 결함이 아니다. 설계 그 자체다. 다만 안전이라는 질문이 “한 턴에 무엇을 할 수 있는가”에서 “한 달 동안 무엇을 축적하는가”로 옮겨 간다는 뜻이다. 업계는 두 번째 질문에 대한 좋은 답이 없고, 기존 평가는 첫 번째 질문을 측정하도록만 만들어져 있다.

감독은 어떤 모습이어야 하는가

에이전트가 요청받지 않고도 돌아간다면, 감독은 프롬프트 수준의 통제일 수 없다. 구조적이어야 하고, 지루해야 한다.

첫 번째 조각은 단단한 예산이며, 이는 사후 알림이 아니라 진짜 상한이어야 한다. 나중에 알려 주는 지출 한도는 한도가 아니다. 두 번째는 에이전트가 무엇을 했고 왜 그렇게 하기로 결정했는지에 대한 읽을 수 있는 로그다. “155개의 활동 기록”은 숫자이고, 숫자는 설명이 아니다. 세 번째는 항상 켜져 있지 않은 기본값이다. 대부분 제품의 대부분 사용자는 지속적인 백그라운드 추론이 필요하지 않고, 필요한 사람은 스스로 선택해야 한다.

더 깊은 조각은 현실과 맞닥뜨려도 살아남는 동의다. 설정 페이지에서 에이전트가 백그라운드에서 행동할 수 있다고 알려 주는 것은, 사용자가 잠든 사이에 돈을 쓸 것이라는 사실을 이해하는 것과 같지 않다. 제품은 보통 권한 범위를 천천히 넓히며 아무도 눈치채지 않기를 바라는 방식으로 이 긴장을 해소한다. 에이전트가 지갑을 갖게 되면 그 습관은 대단히 비싸 보일 것이다.

진짜 교훈은 기본값에 관한 것

dot 관련 발견은 실험적 제품 하나의 변덕으로 치부하기 쉽다. 그 뒤에 있는 패턴은 전혀 실험적이지 않다. 모든 주요 어시스턴트가 “항상 사용 가능”한 쪽으로 움직이고 있고, 모든 벤더는 그것이 종량제가 아니라 마법처럼 느껴지게 만들라는 압박을 받는다.

마법과 종량제는 서로 반대다. 제품이 더 손쉽게 느껴질수록, 보이지 않는 곳에서 벌어지는 일은 더 많아지고, 사용자가 그 비용에 대해 정확한 그림을 그리기는 더 어려워진다. 미터기가 숨겨지면 남는 피드백은 청구서뿐이고, 그것을 볼 때쯤이면 결정은 이미 수십만 토큰 전에 내려져 있다.

지금 이런 시스템을 배포하는 누구에게나 현명한 입장은 “묻지 않고 얼마나 쓸 수 있는가”를 “얼마나 잘 작동하는가” 바로 옆의 일급 설계 파라미터로 다루는 것이다. 두 번째는 벤더가 광고하는 것이다. 첫 번째는 그 제품이 다음 분기에도 돌아갈지를 결정하는 것이다.