원숭이는 개를 구하지 않았다. 그래도 눈물은 진짜였다

10월 7일, 한 영상이 웨이보 기술 차트 20위까지 올라갔다. 홍수 속에서 원숭이가 개를 안전한 곳으로 끌고 가는 장면이었다. 화제작에 필요한 요소는 다 갖추고 있었다. 재난, 종을 넘은 배려, 시키지 않아도 도덕적으로 옳은 선택을 하는 본능. 사람들은 공유하고 울었다. 그리고 생성된 영상임이 확인됐다.

흥미로운 건 가짜라는 사실이 아니다. 대중이 그것을 처리한 순서다. 먼저 감동하고, 다음에 의심하고, 마지막에 검증한다. 이 순서는 이제 시계를 맞출 수 있을 만큼 안정적이다.

왜 이 순서는 바뀌지 않는가

게시되는 순간에 증거를 요구하는 절차가 어디에도 없기 때문이다.

언론사에는 편집 규정이 있고, 기자 서명이 있고, 법무팀이 있다. 숏폼 플랫폼에 영상을 올리는 개인에게는 그중 어느 것도 없다. 플랫폼의 기본값은 관대하다. 신고가 들어오기 전까지는 진짜로 취급된다. 시청자에게 남은 유일한 검사는 「진짜처럼 보이는가」이고, 진짜처럼 보이는 것은 지금 생성형 영상이 가장 잘하는 일이다.

젖은 털. 물보라가 튀는 특유의 모양. 겁먹은 개가 몸을 비트는 그 방식. 이런 것들은 사소한 디테일이 아니다. 사람의 공감이 증거로 읽어내는 바로 그 특징들이다. 설득력 있는 영상을 만들도록 학습된 모델은 기능적으로, 사람이 영상을 믿게 만드는 단서를 만들도록 학습된 모델이다.

여기에 비대칭이 있다. 검증은 느리고, 적대적이고, 지루하다. 감정은 빠르고, 사회적이고, 보상을 준다. 이기는 형식은 후자에 최적화하면서 전자를 건너뛰는 데 비용을 매기지 않는 형식이다.

이번 달 표본은 유난히 많다

원숭이는 고립된 사례가 아니다. 같은 몇 주 사이에 이런 일들이 있었다.

폭우 속에서 여객기가 통제를 잃고 회전하는 영상이 해외 플랫폼에서 확산됐다. Lead Stories가 추적했고, AI 탐지 도구는 생성물로 판정했다. 신장 카나스에서 관광객이 곰에게 먹이를 주는 클립은 합성으로 확인됐다. 자동차 비교 사이트 둥처디의 내부 「시정 통지」라는 스크린샷은 위조로 드러났다.

성격이 전혀 다른 사건도 있다. 티켓 플랫폼 타오피아오피아오의 고객 응대 봇이 이용자를 욕했다. 회사의 답은 「어떤 대규모 언어 모델을 썼는지 모른다」였다.

모아 놓으면 패턴이 나온다. 하나는 악의적 위조, 하나는 부주의한 배포, 하나는 이미지 편집기만 있으면 누구나 만들 수 있는 스크린샷. 공통된 결함은 하나다. 문제가 생겼을 때 그 콘텐츠를 만든 식별 가능한 주체가 없다. 모델 제공자도, 플랫폼도, 계정도 아니다.

비용은 다음번 진짜 영상에 떨어진다

이 논의에서 과소평가된다고 생각하는 지점이 있다.

가짜 구조 영상의 피해는 누군가 존재하지 않는 원숭이를 보고 한 번 슬펐다는 것이 아니다. 다음번 진짜 구조 영상, 반드시 올 것이다. 다음 장마철에 미디어 교육을 한 번도 받은 적 없는 누군가가 휴대폰으로 찍을 것이다. 그 영상이 도착할 때 이미 신뢰를 잃은 상태라는 것이다. 시청자의 첫 반응은 「아마 AI겠지」가 되도록 훈련됐다.

이는 진위에 매겨진 세금이고, 역진적이다. 대형 언론사는 검증 데스크를 둘 수 있다. 우연히 진짜 사건을 찍은 개인은 둘 수 없다. 가짜가 하나씩 확산될 때마다 정직한 목격자는 더 믿기 어려워진다. 그리고 정직한 목격자는 스스로를 입증할 능력이 가장 없는 사람이다.

사진으로 이 실험은 이미 한 번 했다. 로이터와 AFP의 검증 부서, 역이미지 검색 습관, 「손을 보라」는 속설. 모두 십 년의 사진 조작 역사에서 자라난 것이다. 몇 년이 걸렸고, 여전히 안정적으로 작동하지 않는다. 영상은 더 어렵다. 영상은 연속성에 대한 암묵적 주장을 담고 있기 때문이다. 이 일은 일어났고, 이 순서로, 이만큼의 시간 동안. 그 주장을 생성하는 값은 이제 싸다. 감사하는 값은 싸지 않다.

서명 칸은 세련되지 않지만, 아마 필요하다

중국 기술 논평에서 반복해 나오는 제안은 복잡하지 않다. 세 개의 서명 칸이다.

생성 측은 어느 모델이 만들었는지 내보낼 때 명시한다. 게시 측은 누가 무엇을 근거로 보증하는지 밝힌다. 플랫폼 측은 무엇이 탐지됐고 무엇을 했는지 남긴다. 셋 중 하나라도 빠지면 해당 항목에는 기본적으로 눈에 보이는 「합성 의심」 라벨이 붙는다.

기술적으로 어려운 건 없다. C2PA 매니페스트나 SynthID 같은 워터마킹 방식은 이미 있다. 어려운 건 도입이다. 모호함에서 가장 이득을 보는 쪽이 바로 서명해야 하는 쪽이기 때문이다.

그리고 타당한 반론도 있다. 의무화된 출처 메타데이터는 감시의 표면이기도 하다. 모든 이미지를 어느 모델이 만들었는지 계정에 묶어 기록하는 시스템은, 사람들이 무엇을 만드는지 기록하는 시스템이다. 진지한 제안이라면 이에 답해야 하지만, 대부분 답하지 않는다.

그때까지 실제로 도움이 되는 것

유용한 순서로 세 가지 습관.

원본을 찾아라. 확산되는 합성 영상은 거의 대부분 재업로드다. 찾을 수 있는 가장 이른 사례가 이력이 없는 계정이라면, 그것 자체가 정보다.

지루한 결함을 봐라. 생성된 홍수는 물속 물체와 상호작용할 때 미세하게 어긋나는 경향이 있다. 잔해가 감속하지 않고, 물이 물건을 적시지 않는다. 항상 그런 건 아니고 신뢰할 수도 없다. 그래도 탐지 모델보다 싸다.

누가 이득을 보는지 물어라. 4초 안에 강한 감정을 일으키면서 출처를 특정할 수 없는 영상은 증거가 아니다. 파일 확장자가 붙은 기분이다.

탐지 도구가 격차를 메우지 못하는 이유

「그럼 탐지기를 더 잘 만들면 되지」라는 건 자연스러운 발상이다. 여러 개가 있고, 모델의 원본 출력에 대해서는 꽤 잘 작동한다.

문제는 생성과 시청 사이의 파이프라인이다. 합성 영상은 당신이 보기까지 세 번 재인코딩된다. 업로드할 때 한 번, 플랫폼 트랜스코더에서 한 번, 누군가 화면 녹화로 다른 곳에 퍼뜨릴 때 또 한 번. 매번 탐지기가 찾는 통계적 지문이 벗겨지거나 훼손된다. 당신에게 도착한 영상은 압축되고 잘리고 색이 바뀐 파생물이며, 탐지기가 식별할 수 있었던 것은 그 이전의 모습이다.

오류의 비대칭도 있다. 진짜 영상의 5퍼센트를 합성이라고 판정하는 탐지기는 뉴스룸에서 받아들일 수 없다. 모델이 그렇다고 해서 목격자에게 「당신 영상은 가짜」라고 말할 수는 없다. 가짜의 5퍼센트를 놓치는 탐지기도 받아들일 수 없다. 둘을 동시에 만족하는 임계값은 없고, 오탐의 비용은 플랫폼이 아니라 개인에게 떨어진다.

그래서 도구의 역할은 좁다. 분류다. 검증 데스크에 어디부터 볼지 알려준다. 시청자가 가진 질문, 즉 무엇을 느껴야 하는가에는 답하지 않는다.

플랫폼의 유인을 노골적으로 말하면

라벨이 왜 오지 않았는지, 감상 없이 볼 가치가 있다.

영상에 「합성」 라벨을 붙이는 플랫폼은 이전에 지지 않아도 됐던 책임을 진다. 진짜 영상에 라벨이 잘못 붙으면 목격자를 훼손한 것이다. 가짜에 라벨이 빠지면 시청자를 오도한 것이다. 어느 쪽이든 플랫폼은 지금은 내리지 않아도 되는 판단의 책임을 받아들인 것이다. 라벨을 붙이지 않는 것은 무료다.

계산은 그게 전부다. 업계가 몇 년 동안 자발적 프레임워크를 만들면서 기본 라벨은 거의 만들지 않은 이유도 설명된다. EU의 방식, 즉 AI법에 따른 기계 판독 가능 표시 의무는 기본값을 바꾸려는 유일한 규제 시도이고, 그 실효성은 표시가 위에서 말한 트랜스코딩 파이프라인을 견딜 수 있는지에 전적으로 달려 있다. 초기 증거는 낙관적이지 않다.

다시 원숭이로. 생성된 동물, 어딘가의 진짜 홍수, 휴대폰을 든 시청자, 그리고 그 사슬 어디에도 그것이 무엇인지 말하는 것이 직무인 사람은 없었다.

그래서 가장 싼 습관으로 돌아온다. 아무도 듣고 싶어 하지 않는 습관이다. 기분이 핵심이니까. 4초 만에 마음이 움직인 것에서 누가 이득을 보는지 물어라. 원숭이는 개를 구하지 않았다. 눈물은 진짜였다. 둘 다 동시에 사실일 수 있고, 그 사이의 틈이 이 문제 전체가 사는 자리다.