← 블로그로
Ai약 11 분 읽기

Pangram의 이미지 탐지는 99.96%, 테스트 세트도 직접 만들었다

게시일 2026년 11월 14일
Pangram의 이미지 탐지는 99.96%, 테스트 세트도 직접 만들었다

Pangram Labs가 이미지 탐지기를 내놓은 주에, 지구 반대편에 있는 두 사진가가 각자 자기 사진이 진짜인지를 두고 낯선 사람들과 말다툼을 벌이고 있었다.

뉴질랜드에서는 천체 사진가 Brendan Larsen이 9월에 타라나키 산에서 두 시간 동안 578프레임을 찍고, 그다음 45시간가량을 포토샵에서 겹치는 데 썼다. 대부분의 시간은 별을 지우는 일이었다. 그래야 약 1,400개의 위성과 14,000개의 궤적이 드러난다. 사진은 10월 중순에 올라갔고 수천만 회 조회됐으며, 일부는 AI라고 몰아붙였다. 그는 미리 촬영 과정을 녹화해 두고 함께 공개했다. 지금 상황이 그렇다. 사진을 만드는 일은 쉬운 절반에 불과하다.

영국에서는 Dave Wilson이라는 사진가가 Aerial Perspectives라는 계정이 올린 화이트헤이번 등대 폭풍 사진을 보고, 그 비행 조건에서는 찍을 수 없다고 판단했다. 파일을 OpenAI의 Verify에 돌렸더니 C2PA 메타데이터와 SynthID 워터마크가 걸렸다. 같은 계정의 다른 작업도 살펴보니 거의 전부 표시가 떴다. 회사는 폭풍 사진을 전 직원의 소행으로 돌리고, 사진 작품으로 내놓지 말았어야 했다고 인정했다. 다만 포트폴리오 전체가 합성이라는 점은 부인하며, ChatGPT를 거치면서 자체 워터마크가 들어가기 때문에 SynthID가 나타난다고 설명했다.

마지막 설명은 작업 흐름에 대한 그럴듯한 해명일 수도 있고, 지나치게 편리한 변명일 수도 있다. 지금 시장의 어떤 탐지기도 어느 쪽인지 판정하지 못한다.

Pangram이 내놓은 것

Pangram은 텍스트 탐지로 이름을 얻은 회사다. 11월 초 같은 주에 이미지와 영상으로 영역을 넓히며 모델 두 개를 공개했다.

주력은 Pangram Image 1.0이다. 압축과 작은 파일, 부분적인 조작을 견디는 탐지가 세일즈 포인트인데, 이는 온라인에 도는 이미지 대부분의 실제 상태다. 최소 해상도는 256×256픽셀까지 내려갔다. 다만 짧은 변이 512픽셀 아래로 떨어지면 결과의 신뢰도가 떨어진다고 회사는 명시했다.

Image Flash 1.0은 더 작은 모델이고, 영상은 프레임 단위로 처리한다.

흥미로운 건 정확도 숫자다. Image 1.0의 99.96%는 자체 구축 데이터셋에서 나왔다. 실제 사진 100장에 대해 12개의 최전선 이미지 생성기로 1,200장의 대응 이미지를 만들게 했다. Flash 1.0은 Pangram이 인용한 연구 DF26에서 98.7%를 기록했고, 자체적으로 만든 1,529편의 영상 테스트 세트에서는 주요 탐지 서비스 몇 곳을 앞섰다.

이번 출시를 보도한 독일 매체 heise는 이 수치 가운데 독립 검증을 거친 것이 하나도 없다고 분명히 적었다.

테스트 세트가 논쟁의 전부다

탐지기가 주장하는 정확도는 어떤 이미지로 쟀느냐에 따라 의미가 달라진다. Pangram의 대표 수치는 실제 사진 한 장마다 합성 쌍둥이 열두 장이 붙은 균형 잡힌 세트에서 나왔다. 생성기마다 한 장씩이다. 실험 설계로는 깔끔하다. 동시에 모델이 회사가 고른 열두 도구 위에서 채점됐다는 뜻이고, 열세 번째 도구에 어떻게 반응하는지는 공개된 숫자가 전혀 말해 주지 않는다.

Pangram만의 문제는 아니다. 탐지 제품을 파는 곳은 거의 다 이렇게 수치를 낸다. 그래서 99.96% 같은 숫자는 현장 추정치가 아니라 유리한 조건에서 잰 상한으로 읽는 게 정직하다.

숫자를 느슨하게 쥐고 있어야 할 이유가 하나 더 있다. EU AI법의 투명성 요구는 2026년 8월부터 단계적으로 시행에 들어갔고, 공개는 이제 예의가 아니라 준수 의무가 되어 가고 있다. 규제는 숫자에 대한 수요를 만든다. 구매자는 가리켜 보여 줄 숫자를 원한다. 파는 쪽이 자기 숫자를 자기가 발표하는 건 그 수요에 대한 예측 가능한 반응이고, 따라오지 못한 쪽은 독립 평가다.

256픽셀 하한선이 헤드라인보다 중요하다

정확도 주장 밑에 더 쓸모 있는 설계상의 디테일이 깔려 있다. 대부분의 탐지 시스템은 제대로 된 이미지를 원한다. 소셜 플랫폼은 모든 것을 다시 압축하고 잘라내고 줄인다. 그래서 256픽셀 썸네일에서 작동하는 탐지기는 원본 파일이 필수인 탐지기와 다른 일을 하는 셈이다.

무광 유리 블록 옆에 같은 재질의 훨씬 작은 블록이 놓여 있고, 작은 블록은 뒤에서 빛을 받아 가장자리 전체가 빛나고 있다.

그 아래 붙은 단서도 현실적이다. 짧은 변이 512픽셀을 밑돌면 Pangram은 결과가 덜 믿을 만해진다고 한다. 즉 작은 크롭에도 판정을 내리되, 그 판정이 흔들릴 때는 같이 알려 준다.

검증 일을 하는 사람이라면 이 조합이 단일 정확도 수치보다 값지다는 걸 안다. 심하게 잘린 스크린샷 앞에서 "모르겠다"고 말하는 탐지기가 늘 답을 내놓는 탐지기보다 쓸모 있다.

영상 쪽이 더 어려운 문제다

이미지 탐지가 주목받는 건 논쟁이 그쪽에서 벌어지기 때문이지만, 격차가 가장 큰 곳은 줄곧 영상이었다. 생성된 클립 한 편은 수백 프레임이고, 픽셀 단위로 넣은 워터마크는 재인코딩과 세로형 크롭, 플랫폼이 업로드 때 가하는 모든 처리를 견뎌야 한다.

Pangram의 방식은 Flash 1.0으로 프레임을 하나씩 보는 것이다. 클립 전체를 한 덩어리로 다루는 것보다 싸고, 단일 판정 대신 분포를 내놓는다. 사람이 검토하는 방식에 더 가깝다. 타임라인을 훑고, 수상한 지점에서 멈추고, 들여다본다.

여기서 생기는 차이는 부분 생성 영상에 이제 예 아니오가 아닌 측정 가능한 답이 생긴다는 점이다. 광고와 숏폼 제작은 둘 다 혼합 소재에 기댄다. 실제 배경에 생성 컷을 끼워 넣는 식이다. 공개 규정에서 정말 중요한 질문은 프레임 가운데 몇 할이 합성됐느냐다.

탐지가 할 수 있는 일과 없는 일

Aerial Perspectives 사건은 한계를 선명하게 보여 준다. 워터마크가 걸렸다는 건 생성 모델이 그 파일을 건드렸다는 강한 증거다. 깨끗한 결과는 아무것도 증명하지 못한다. 탐지기는 자기가 추적하는 파트너의 워터마크만 알아보므로, 다른 곳에서 만든 이미지는 깨끗하게 나온다. Cult of Mac도 애플이 iOS 27.2에서 Image Playground에 SynthID를 넣은 일을 두고 같은 지적을 했다. 이 검사는 한 방향이다.

그 비대칭성 때문에 사진 편집자의 실무는 한 단계에서 세 단계로 늘었다. 먼저 OpenAI Verify나 구글의 About This Image 패널로 출처 메타데이터를 확인한다. 파일에 C2PA 데이터가 있으면 거기서 드러난다. 다음으로 역검색을 해서 가장 이른 등장을 찾는다. 마지막으로 그림 자체를 본다. 손과 글자, 장신구는 여전히 어떤 분류기보다 많은 것을 흘리기 때문이다.

Larsen의 사례는 아무도 풀지 못한 부분을 더한다. 578프레임을 쌓아 만든 진짜 사진이 합성처럼 보인다. 그 과정이 눈이 한 번도 본 적 없는 결과물을 만들어 내기 때문이다. 탐지 모델에는 그런 범주가 없고, 댓글을 다는 사람들에게도 없다.

Pangram의 이번 출시는 실제 진전이다. 특히 영상 탐지는 얇았고, 이 가격대의 프레임 단위 모델은 빈틈을 메운다. 앞으로 몇 달 새 지켜볼 주장은 99.96%가 아니다. Pangram 바깥의 누군가 그와 맞아떨어지는 숫자를 발표하느냐다.

관련 글

서버 한 대, AI 스트리머 한 명: 야간 라이브를 돌리는 코드

open-yoki는 매일 밤 Binance Square에서 방송하는 AI 진행자의 프로덕션 코드로, 성격과 목소리, 돈에 닿는 기능은 걷어냈습니다. headless Chrome이 프레임을 그리고 ffmpeg이 RTMP를 밀며, Markdown 폴더가 그녀의 기분과 올릴 글을 정합니다.

Pinky는 agent에게 당신의 폰을 맡기고, 당신이 허용을 누를 때까지 전송 버튼을 붙잡고 있습니다

Pinky는 어떤 MCP agent든 실제 iPhone이나 Android 폰에 연결하고, 승인을 프롬프트가 아닌 자체 게이트웨이에서 강제합니다. 은행 앱은 보이지 않고 비밀번호 입력란은 손댈 수 없으며, Android 13에서는 agent가 숨겨진 두 번째 화면을 받습니다.

인터페이스의 AI 티를 잡아내고 9단계로 고치는 Claude skill

unslop은 Claude Code, Codex, Antigravity에서 도는 skill로, vibecoded 화면이 어디서 싸구려처럼 보이는지를 먼저 이름 붙여 줍니다. 제품에서 방향을 잡고 나면 디자이너가 redline review를 하듯 패스를 겹쳐 고칩니다. star는 19,413개이고, slop이 무엇인지에 대한 답도 분명합니다.

세계의 법을 git에 넣은 사람들, 이제 법조문도 blame할 수 있다

global-law는 각국 법령을 git 저장소로 보관하고, 커밋 하나가 특정 날짜에 시행된 법 하나에 대응한다. 조문에 log, blame, show, diff를 돌릴 수 있고, 어느 날 각국에서 시행 중이던 법을 확인하고, 코퍼스 전체를 MCP로 어시스턴트에 넘길 수 있다.