AI 이미지와 실제 사진을 아직도 구별할 수 있나? 탐지 무기 경쟁이 불편해지고 있다

"어떤 이미지가 AI 생성인지 구별할 수 있나요?"라는 작은 웹 게임이 이번 달 Hacker News 첫 페이지에 112포인트와 85개 댓글로 올랐다. 전제는 간단하다. 이미지가 연속으로 표시되면 실제인지 생성된 것인지 추측하는 것이다. 댓글들은 같은 고백으로 수렴했다. 이미지를 직업적으로 다루는 사람들도 겨우 동전 던지기보다 조금 나은 점수를 받고 있었다.

며칠 후, 또 다른 HN 스레드에서는 텍스트와 이미지 모두에 대한 AI 탐지를 판매하는 스타트업 Pangram을 다루며, 탐지가 과연 가능한지에 대한 27개 댓글 토론이 이어졌다. 두 스레드 사이에는 이 분야의 불편한 현실이 자리한다. 생성된 이미지와 실제 이미지를 구별하는 일은 탐지 기술이 나아지는 속도보다 더 빠르게 어려워지고 있다.

왜 당신의 눈은 계속 판별에 실패하는가

예전에 통하던 단서들은 사라졌거나 거의 사라졌다. 뒤엉킨 손, 녹아내린 텍스트, 일관성 없는 조명, 밀랍 같은 피부: 각각의 결함은 모델 세대가 거듭되며 수정되어 출시됐다. 오랫동안 확실한 단서였던 텍스트 렌더링은 이제 선도적인 모델들에서 해결된 문제이며, 이것이 이미지 벤치마크가 이를 그렇게나 비중 있게 다루기 시작한 이유이기도 하다. 남은 것은 더 미묘한 차이다. 생성된 이미지는 종종 약간 지나치게 일관되고, 질감은 조금 지나치게 고르며, 배경은 조금 지나치게 순순하다. 인간은 그 분위기를 눈치채지만 말로 설명하지 못한다. 추측 게임이 모두를 난처하게 만드는 이유가 바로 이것이다.

로키 문제는 이를 다른 차원에서 보여준다. r/StableDiffusion의 한 게시물은 사람들이 어떻게 특정 배우의 외모를 새로운 의상과 장면 전반에 걸쳐 그토록 정밀하게 유지하는 AI 이미지를 만드는지 물었다. 실제로 하는 사람들의 답은 참조 기반 생성과 파인튜닝된 어댑터였으며, 이제는 어느 것도 특별한 도구를 필요로 하지 않는다. 예전이라면 VFX 스튜디오가 몇 년 걸렸을 법한 닮은꼴이 이제는 오후 한나절 프로젝트가 되었고, 질문한 사람은 자신의 피드에 쏟아지는 이미지 중 어떤 것이 모델 출력인지 구별할 수 없었다.

제품으로서의 탐지, 정책으로서의 탐지

Pangram의 주장은 생성기를 훈련하는 만큼 공격적으로 탐지기를 훈련하면 탐지가 해결 가능하다는 것이다. HN 토론은 표준적이고 대체로 타당한 반론을 제기했다. 탐지기는 보지 못한 모델에 잘 일반화되지 않고, 실제 사진작가에게 피해를 주는 오탐을 만들어내며, 공개된 탐지기는 다음 모델 릴리스가 조용히 무력화하는 표적이 된다. 출처 증명 접근법도 있다. C2PA 스타일 콘텐츠 자격 증명은 카메라와 생성기에게 출력에 서명하도록 요구함으로써 탐지를 우회한다. 모두가 협조할 때는 도움이 된다. 하지만 누군가 이미지를 재인코딩하고 메타데이터를 제거한 경우에는 아무것도 해주지 못한다.

정책은 어쨌든 움직이고 있다. AI 음식 사진을 사용하는 식당들이 이번 달 Wall Street Journal 기사를 통해 작은 뉴스가 되었고, 반발은 추상적인 기만보다 구체적인 배신에 가까웠다. 주문한 버거는 광고 속 버거처럼 보여야 한다는 것이다. 이는 사회적 탐지 메커니즘, 즉 크라우드소싱된 신뢰이며, 어떤 분류기보다도 엄격하다.

HN 스레드들이 실제로 논쟁한 것

두 Hacker News 토론은 문제를 깔끔하게 나눴다. 게임 스레드는 대부분 사람들이 점수를 보고하고 요령을 공유하는 곳이었으며, 그 요령들은 예전에 통하던 것들의 괜찮은 화석 기록이다. 손을 보라, 텍스트를 확인하라, 반사를 살펴라, 배경 행인의 손가락 수를 세라. 그런 검사는 이제 거의 모두 현재 모델에서 거짓 음성을 낸다. 특히 텍스트 렌더링은 선도 모델들이 이를 벤치마크 우선순위로 삼은 뒤로 더 이상 신뢰할 만한 단서가 아니다. 읽을 수 있는 간판이 있는 생성된 상점가는 2년 전에는 신기한 일이었지만 이제는 기본 동작이다.

Pangram 스레드는 더 회의적이었다. 댓글의 반론은 전형적인 것들이었고, 타당하다. 어제의 생성기로 훈련된 탐지기는 내일의 생성기를 놓치고, 오탐은 작품이 합성으로 표시되는 실제 사진작가에게 가장 크게 피해를 준다. 또한 탐지기를 공개하는 것은 다음 모델이 그에 대항해 훈련되도록 하는 공개 초대장이다. 한 댓글은 그 비대칭성을 구체화했다. 생성기는 존재하는 탐지기만 속이면 되지만, 탐지기는 아직 출시되지 않은 생성기를 포함해 모든 생성기를 잡아야 한다. 이는 구조적으로 지는 경주이며, 그래서 상업적 탐지 제품은 수상한 이미지가 궁금한 개인보다 콘텐츠 관리 의무가 있는 기관에 주로 팔린다.

출처 증명, 지루한 대안

계속 언급되는 대안은 콘텐츠 자격 증명이다. 촬영 또는 생성 시점에 첨부되는 C2PA 스타일의 암호학적으로 서명된 메타데이터다. 카메라는 센서가 본 것을 서명한다. 생성기는 모델이 만든 것을 서명한다. 편집 도구는 체인을 보존하거나 주석을 단다. 이런 방식은 아무것도 탐지할 필요가 없다는 점이 주요 장점이다. 탐지는 영구적인 무기 경쟁이고, 서명은 배관 표준이기 때문이다.

약점도 똑같이 구조적이다. 서명은 자발적이고, 메타데이터는 스크린샷과 재인코딩으로 제거되며, 체인은 이미지가 어디서 왔는지만 증명할 뿐 원본이 정직했는지는 결코 증명하지 못한다. 서명된 AI 이미지는 여전히 AI 이미지다. 그러나 플랫폼들이 자격 증명을 노출하기 시작하면서 깨끗한 체인의 존재는 HTTPS가 그랬던 것처럼 신뢰 신호가 되고, 그 부재는 이미지가 답할 수 없는 질문으로 읽히기 시작한다.

사회적 계층은 기술적 계층보다 엄격하다

탐지와 출처 증명 사이에는 이번 달 실제로 일을 해낸 메커니즘이 있다. 바로 군중이다. 식당 이야기가 퍼진 것은 분류기가 표시해서가 아니라 고객들이 사진 속 음식과 제공된 음식 사이의 간극을 알아차렸기 때문이다. 베이비붐 세대 손주 이미지들이 화제가 된 것은 단체 채팅방의 부모들이 아니라고 말했기 때문이다. Loki 이미지들은 서브레딧이 어떻게 만든 것인지 묻도록 했고, 하루 안에 답을 얻었다. 커뮤니티는 탐지기가 할 수 없는 방식으로, 맥락을 알기에 탐지한다.

이는 진지하게 고려할 만한 분업을 시사한다. 기계는 대규모 선별, 즉 대량 업로드를 인간 검토 대상으로 표시하는 일을 잘한다. 인간은 맥락, 즉 광고 속 버거에 부스러기가 없는 이유는 어떤 버거에도 부스러기가 없기 때문이라는 점을 알아채는 일을 잘한다. 출처 증명은 정직한 행위자들이 있는 원천에서 잘 작동한다. 어떤 단일 계층도 모든 것을 잡아내지 못한다. 모두를 난처하게 만든 그 게임이 평결이 아니라 유용한 보정으로 남는 이유가 바로 이것이다.

이미지를 게시하는 사람들에게 이것이 의미하는 것

이미지를 게시하거나 의뢰하는 사람이라면 현재 상황에서 세 가지 습관이 따른다. 첫째, 생성된 콘텐츠에 라벨을 붙이는 것은 고백이 아니라 신뢰 자산이 되고 있다. 공개하는 창작자들(그리고 r/StableDiffusion 스레드에는 반-AI 댓글을 어떻게 처리할지에 대한 뚜렷한 분열이 있다)은 사전에 공개할 때 남는 관객을 만들고 있다. 둘째, 출처 메타데이터는 유지비가 저렴하고 때로는 결정적이다. 플랫폼들이 이를 노출하기 시작하고 있으며, 보존 비용은 설정 토글 하나다. 셋째, 이미지가 사실적 주장을 하는 경우(뉴스, 제품, 증거)에는 청중이 동전 던지기 탐지기와 스크린샷 도구를 갖고 있다고 가정하라. 유일하게 오래가는 방어는 이미지가 무엇인지에 대해 진실해지는 것이다.

모두를 난처하게 만든 그 게임은 그래도 해볼 가치가 있다. 실제 이미지와 생성 이미지가 섞인 덱을 상대로 10분을 보내면 당신의 확신을 유용한 방향으로 재보정한다. 당신이 틀린 이미지들은 주의력의 실패가 아니었다. 그것들은 새로운 기준선이며, 기준선은 매달 움직인다.