엔터프라이즈 AI가 실제로 성과를 내는 곳: 철강회사와 항공사

이번 달에 두 개의 사례 연구가 나왔는데, 이 둘을 합치면 1년치 벤더 기조연설보다 엔터프라이즈 AI에 대해 더 많은 것을 말해줍니다. 하나는 수백 개의 특화된 에이전트를 배포한 철강회사입니다. 다른 하나는 계약 검토 시간을 절반으로 줄인 항공사입니다. 둘 다 사이드바에서 질문에 답하는 범용 어시스턴트와는 관련이 없습니다.

철강 공장의 에이전트 300개

구글 클라우드에 따르면 타타 스틸은 9개월 만에 300개 이상의 특화 AI 에이전트를 배포했습니다. 이들은 자산 유지보수, 정보 접근, 더 빠른 고객 응대를 담당합니다. 그 문장에서 실제로 일을 하는 단어는 "특화"입니다. 이것은 광범위한 권한을 부여받은 하나의 에이전트가 아니었습니다. 각각 특정 운영 업무에 묶인 300개의 좁은 에이전트였습니다.

이는 대부분의 벤더가 파는 구조와 다릅니다. 무엇이든 할 수 있는 범용 에이전트는 시연하기는 쉽고 신뢰하기는 어렵습니다. 각자 한 가지 일만 하는 에이전트 함대는 구축하기는 지루하지만 통제하기는 훨씬 쉽습니다. 범위가 과업에 의해 정의되기 때문입니다. 그중 하나가 잘못 작동하면, 그것이 어느 프로세스에 속하는지, 무엇을 건드리도록 허용되었어야 하는지 알 수 있습니다.

유지보수라는 측면은 그 자체로 주목할 가치가 있습니다. 자산 유지보수는 산업용 AI가 가장 확실한 성과를 내는 분야입니다. 데이터가 이미 존재하고, 고장 유형의 비용이 크며, 가동률 10퍼센트 개선은 금액으로 측정할 수 있기 때문입니다. 화려하지 않은 작업이며, 바로 이런 종류의 작업이 예산 심사를 통과합니다.

며칠이 걸리던 계약 검토가 몇 시간으로

세부퍼시픽은 ChatGPT Enterprise 도입으로 법무 계약 검토 시간이 대략 절반으로 줄었다고 밝혔습니다. 프로젝트 접수 처리 시간은 5일에서 약 1일로 줄었고, 엔지니어링 자료 검색은 10~15분에서 10초 미만으로 단축되었습니다. 사용자 설문에서 86퍼센트가 AI가 일상 업무의 3분의 1 이상을 지원한다고 답했습니다.

곱씹어 볼 수치는 계약 관련 수치입니다. 법무 검토는 실질적인 이해관계가 걸린 업무이고, 입력이 정해져 있으며, 결과물이 명확합니다. 또한 병목이 읽기에 있는 업무이며, 읽기는 언어 모델이 진짜 잘하는 일입니다. 이 항공사는 변호사를 자동화하지 않았습니다. 사람이 수백 번 봐온 조항을 찾기 위해 문서를 훑는 업무의 일부를 제거했습니다. 그것은 도구 구매가 아니라 워크플로의 변화입니다.

두 사례에 깔린 공통 패턴

두 사례 모두 인간보다 추론을 잘하는 모델에 관한 것이 아닙니다. 둘 다 정해진 프로세스의 특정 단계에 모델을 끼워 넣고, 그 전후를 측정할 수 있는 경우입니다. 타타 스틸은 어떤 유지보수 결정이 더 빨라졌는지 알고 있습니다. 세부퍼시픽은 접수 프로세스가 예전에 며칠 걸렸는지 알고 있습니다.

벤더가 걱정해야 할 수치는 설문 데이터에 있습니다. 싱가포르의 엔터프라이즈 AI 성숙도 지수는 에이전틱 AI 도입률을 51퍼센트로 집계했는데, 이는 전년의 22퍼센트에서 오른 것입니다. 반면 이를 중심으로 엔드투엔드 워크플로를 재설계한 기업은 10퍼센트에 불과했습니다. 캡제미니 연구에서도 비슷한 격차가 나타났으며, 대부분의 조직은 여전히 탐색 단계이거나 파일럿을 운영하고 있습니다.

즉 시장에는 워크플로를 바꾸지 않은 채 AI를 워크플로에 연결한 기업이 넘쳐납니다. 이들은 기존 프로세스에 모델을 덧붙여 놓고 그것을 전환이라고 불렀습니다. 여기 소개한 두 사례는 다른 일을 했고, 그래서 보고할 가치가 있는 수치를 만들어냈습니다.

특화가 에이전트를 통제 가능하게 만든다

하나의 넓은 에이전트보다 좁은 에이전트 함대를 선호할 거버넌스상의 이유가 있으며, 이를 짚어볼 가치가 있습니다. 범위가 고정된 에이전트는 감사하기 쉽습니다. 무엇에 접근할 수 있어야 하는지 알고, 실제로 무엇에 접근했는지 기록할 수 있으며, 그 둘 사이의 차이는 짧은 목록에 불과합니다. 광범위한 권한을 가진 에이전트는 과업마다 범위가 달라지므로 같은 감사가 연구 프로젝트가 됩니다.

타타 스틸의 300개 에이전트는 바로 이런 방식으로 특화되어 있습니다. 그 선택은 두 번 이득을 줍니다. 엔지니어링이 더 쉽고, 승인해야 하는 사람들에게 배포를 방어 가능하게 만들어 줍니다. 각 에이전트는 개별적으로 따져볼 수 있고, 하나의 실패가 나머지 299개를 다시 검토할 필요를 낳지 않습니다.

같은 원리가 왜 이렇게 많은 엔터프라이즈 에이전트 프로그램이 멈춰버리는지 설명합니다. 범용 에이전트는 데모에서 가능성을 보이고, 업무의 넓은 영역을 대상으로 파일럿을 거친 뒤, 그 넓은 영역 전체에서 올바른 동작이 무엇인지 아무도 설명할 수 없다는 사실에 부딪힙니다. 범위를 좁히는 것은 퇴보처럼 느껴지지만, 대개 프로젝트를 살려내는 단계입니다.

숨은 요건: 비교할 기준선

두 사례 모두 수치를 내놓았고, 그것은 우연이 아닙니다. 가동률 10퍼센트 개선이나 5일에서 1일로의 단축을 측정하려면 '이전'이 필요합니다. 기준선을 건너뛴 조직은 결과 대신 일화만 남게 되며, 그래서 많은 AI 프로그램이 열의는 보고하지만 임팩트는 보고하지 못합니다.

이 규율은 배포 전에 시작됩니다. 프로세스를 고르고, 현재 걸리는 시간과 비용을 기록한 다음, 한 단계를 바꾸고 다시 측정합니다. 관료적으로 들리지만, 이것이 예산을 방어할 수 있는 프로그램과 그렇지 못한 프로그램을 가릅니다. 세부퍼시픽이 계약 검토 시간이 절반이 되었다고 말할 수 있는 이유는 누군가 예전 소요 시간을 적어두었기 때문입니다.

똑같이 중요하지만 더 드물게 측정되는 두 번째 지표가 있습니다. 바로 오류율입니다. 시간을 절반으로 줄이면서 실수를 두 배로 늘린 에이전트는 아무것도 개선하지 못한 것이며, 비용을 프로세스 앞단에서 뒷단으로 옮긴 것뿐입니다. 견고한 사례는 실수가 비쌀 지점에서 사람이 여전히 결과물을 확인하고, 측정된 이득은 검토가 아니라 읽기를 제거한 데서 나오는 경우입니다.

이 격차가 향후 1년에 의미하는 것

성과를 보는 조직은 프로세스를 고르고, 측정하고, 모델이 실제로 잘하는 것에 맞춰 재구축한 곳입니다. 파일럿에 갇힌 조직은 접근 권한을 사고 도입이 저절로 일어나기를 기다린 곳입니다. 접근 권한은 결코 어려운 부분이 아니었습니다. 재설계가 어렵습니다.

철강회사와 항공사는 간과하기 쉬운 특징도 공유합니다. 둘 다 책임이 따르는 의사결정 지점에 사람을 남겨두었습니다. 유지보수 에이전트는 표시하고, 사람이 결정합니다. 계약 에이전트는 초안을 작성하고 강조 표시하며, 변호사가 승인합니다. AI는 판단이 아니라 훑어보기를 제거했습니다.

그러한 역할 분담은 돌이켜 보면 별것 아닙니다. 또한 수치를 만들어내는 AI 프로그램과 슬라이드를 만들어내는 프로그램을 가르는 것이기도 합니다. 프로세스를 고르고, 사람이 정보를 읽거나 옮기는 단계를 찾아, 그 단계를 자동화하고, 무엇이 바뀌었는지 측정하십시오. 레시피는 단순합니다. 실행하는 것은 좌석을 사는 것보다 어렵습니다. 그래서 많은 조직이 좌석을 사고 그것을 전략이라고 부릅니다.