GPT-6 Cyber는 진짜 취약점을 찾는다. 범위가 곧 제품이다

OpenAI는 5 November에 GPT-6 Cyber를 공개했다. 모델 발표치고 설명이 유난히 구체적이다. 승인된 보안 업무를 위해 만들어졌고, 연구자가 정한 범위를 벗어나지 않으면서 취약점을 찾아 검증하며, 실제로 취약점을 찾고 수정안 개발을 돕는 데 쓰였다는 것이다.
벤치마크로 팔기에는 이상한 제품이다. 취약점 모델에서 중요한 숫자는 보지 못한 코드에서 진짜 문제를 찾아내는지, 지정된 대상 밖으로 새지 않는지, 그리고 내놓는 보고서가 사람이 재현할 수 있을 만큼 충분한지다. 네 가지 중 세 가지가 절제에 관한 이야기다.
GPT-5.6 Cyber에서 무엇이 바뀌었나
OpenAI는 GPT-6 Cyber가 GPT-5.6 Cyber보다 나아졌다고 말한다. 발표문에 적힌 주장은 그게 전부이고, 외부 보도가 시사하는 것보다 훨씬 얇다. 몇 시간 만에 사이버 벤치마크 48.5%, 취약점 재현율 40% 초과라는 숫자가 시장 노트에 돌기 시작했다. 그런 형태로 OpenAI 발표 자료에 있는 숫자가 아니며, 하네스 없는 벤치마크 점수는 마케팅 숫자일 뿐이다. 방향은 그럴듯하게 보되 소수점은 검증되지 않은 것으로 두자.
정보량이 더 많은 대목은 워크플로에 관한 주장이다. 취약점을 찾고 멈추는 모델이 내놓는 것은 단서 하나다. 찾고, 재현 절차를 쓰고, 패치 초안까지 만드는 모델이 내놓는 것은 엔지니어가 바로 처리할 수 있는 티켓이고, 가치는 거기에 있다. 수정 개발을 도왔다고 쓴 한 문장이 어떤 점수보다 많은 것을 말해준다.
실제로 평가한다면 이렇게 한다
보안팀을 이끈다면 원하는 평가는 공개 리더보드와 전혀 다르다. 답을 이미 아는 대상들을 준비해서 블라인드로 돌린다. 알려진 결함 둘에 미끼 몇 개를 섞은 서비스, 의존성 사슬이 있는 라이브러리, 진짜 문제 하나와 그럴듯해 보이는 것 네 개를 심은 펌웨어. 그다음 정밀도를 먼저, 재현율을 나중에 잰다. 열한 건을 보고했는데 진짜가 하나뿐인 모델은 조사 열 번을 더 시킨 셈이다.
두 번째로 재는 것은 범위 규율이다. `staging.example.com`을 가리키고 `billing.staging.example.com`을 명시적으로 제외한 뒤, 그래도 그리로 가는지 본다. 이 실패는 보안 도구를 사고로 바꾼다. 벤더 벤치마크는 이걸 하나도 다루지 않는다.

세 번째는 조용히 있을 수 있는지다. 운영 중인 시스템을 들여다보는 에이전트는 경보와 속도 제한, WAF 규칙, 온콜 교대를 건드린다. 자기 탐색의 운영 비용을 모르는 모델은 복제 환경에만 돌릴 수 있다.
이중용도의 문제는 그대로다
자기 서비스에서 취약점을 찾는 능력은 남의 서비스에서 찾는 능력이기도 하다. 모델 카드에 무엇을 쓰든 달라지지 않는다. OpenAI가 여기서 하는 일은 범위를 정하는 전략이고, 위험한 능력을 내놓을 때마다 나오는 것과 같다. 가드레일을 제품 표면에 넣고, 허용되는 용도를 첫 문장에 적고, 모델의 판단이 아니라 접근 통제와 모니터링에 기댄다.
합리적인 전략이지만 불완전하다. 범위는 프롬프트를 쓰는 사람이 정한다. 승인서를 가진 연구자와 그럴듯한 이야기를 지어낸 공격자는 같은 문장을 입력한다.
이번 주의 상쇄 신호는 같은 회사에서 나왔다. OpenAI는 보안 업체 Hacktron을 자사 시스템과 연동에 투입해 취약점을 찾게 했다. 같은 부류의 도구를 자기 자신에게 겨누는 태도가 이 능력에 신뢰를 준다. 남이 먼저 알아내기 전에 이 모델들이 실제로 무엇을 잘하는지 배우는 유일한 방법이기도 하다.
옆에 있는 돈
공개는 같은 주에 겹쳤다. 보도에 따르면 OpenAI는 $11 billion을 추가로 조달했고, 기업가치는 $1.25 trillion이며, 라운드는 아직 닫히지 않아 몇 주 안에 마무리될 예정이다. 투자자로 SoftBank와 Sequoia가 언급되며, 총 목표액은 $20 billion에 이를 수 있다고 한다.
두 사실을 나란히 두면 전략이 읽힌다. 프런티어 모델 개발은 조달 절차로는 따라올 수 없는 규모의 민간 자본으로 지원되고, 제품군은 전문적이고 결과가 큰 영역으로 퍼진다. 구매자는 컴플라이언스 부서를 가진 기업이다. 사이버가 가장 깔끔한 예다. 고객에게는 이미 보안 예산이 있고, 교전 규칙이 있고, 사람이 읽어야 할 경보 수를 줄이는 무언가에 돈을 낼 이유가 이미 있다.
보안팀이 가져갈 것
쓸모 있는 순서로 세 가지.
첫째, 범위에 관한 대화가 이제 제품에 관한 대화다. GPT-6 Cyber를 평가한다면 탐지 능력만큼 문서화된 범위 집행을 빡빡하게 평가하라. 합의한 대상 밖에서 무언가를 찾았을 때 어떻게 되는지, 그 발견이 보고되는지 억제되는지 물어라. 범위 밖 발견을 쥐고도 말하지 않는 도구는 이미 당신이 준 승인을 깨뜨린 것이다.
둘째, 보고서 형식이 차별점이 될 것으로 보라. 채팅 기록을 내놓는 모델은 티켓 큐에 쓸모가 없다. 재현 절차와 영향받는 버전 범위, 패치 제안을 내놓는 모델은 기존 워크플로에 들어간다. 당신이 사는 것은 그 워크플로다.
셋째, 스캐너를 은퇴시키지 마라. 코드를 추론하는 모델은 의도 이해가 필요한 부류의 버그에 강하다. 존재하지만 틀리게 쓰인 권한 검사 같은 것. 철저한 열거가 필요한 부류에는 약하다. 퍼저가 찾아내는 파서 크래시 같은 것. 흥미로운 질문은 라우팅이다. 어떤 발견을 어느 도구로 보낼 것인가. 그 판단이 모두가 인용하는 점수보다 값어치가 있다.
도입을 가를 부분
보안팀은 소프트웨어 업계에서 가장 의심이 많은 구매자다. 이유도 분명하다. 도구가 거짓 음성을 내면 불려가는 쪽이 그들이다. 데모에서 버그를 놓치는 모델은 창피한 일이다. 운영 환경에서 버그를 놓쳤고 누군가 그것에 기대고 있었다면, 이름이 붙은 사고가 된다.
이 비대칭이 배치 순서를 정한다. 처음에는 원래 사람이 코드를 읽던 자리에 들어갈 것이다. 풀 리퀘스트에 대한 제2의 의견, 또는 발견의 순위를 매기는 분류 보조로. 유일하게 보고 있는 존재로서가 아니라. 회고 글은 대체한 커버리지가 아니라 얻은 커버리지에 관한 것이 될 것이다.
또 하나의 제약은 가격이다. 프런티어 모델이 큰 코드베이스를 읽으면 한 번의 패스에도 비싸고, 취약점 연구는 여러 번 왕복하는 작업이다. 구조를 이해하는 데 한 번, 데이터 흐름을 따라가는 데 한 번, 확인에 한 번, 패치를 쓰는 데 한 번. 공개 시점의 토큰 단가는 얼마든, 실효 비용은 한 번 읽기의 네 배에서 열 배가 된다. 시니어 엔지니어의 일주일과 비교하면 여전히 싸고, 구매자가 실제로 하는 비교가 그것이다.