AI 생성 콘텐츠, 이제 신분을 밝혀야 한다

10월 1일부터 AI가 생성한 콘텐츠는 중국 내에서 유통될 때 표식을 달아야 한다. 국가인터넷정보판공실, 공업정보화부, 공안부, 국가광전총국 네 부처가 공동 발표한 《인공지능 생성·합성 콘텐츠 표식 방법》이 이날 정식 시행된다. 텍스트, 이미지, 오디오, 영상, 가상 장면 등 인공지능 기술로 생성하거나 합성한 정보는 모두 표식을 달아야 한다.

일반 사용자가 가장 먼저 체감한 변화는 익숙한 몇몇 앱에서 시작됐다. 위챗, 영상호, 더우인, 빌리빌리, 웨이보, 샤오홍슈는 이 방법 시행 전후로 잇달아 이용자 약관을 개정해, 콘텐츠 게시자가 AI 생성 콘텐츠를 두드러진 방식으로 자발적으로 표시하도록 요구했다. 표시하지 않을 경우의 결과는 아주 노골적으로 적혀 있다. 노출 제한, 게시 중단, 심한 경우 계정 정지다. 한 숏폼 플랫폼은 사용자가 '귀여운 아이가 채소를 씻고 불을 때는' 류의 콘텐츠를 넘겨볼 때 화면 아래에 작은 글씨 한 줄을 덧붙여, 이 콘텐츠는 AI 기술로 제작된 것이며 허구의 내용이니 신중히 판별하라고 안내한다. 누군가 이 문구를 캡처해 올리며, 집안 어르신이 마침내 그 아이들이 가짜라는 걸 믿게 됐다고 말했다.

두 가지 표식, 하나는 사람에게 보여주고 하나는 기계가 읽는다

이 방법은 표식을 명시적 표식과 암시적 표식 두 가지로 나눈다. 명시적 표식은 사용자가 뚜렷하게 인지할 수 있는 것으로, 화면 모서리 표시, 재생 전 안내 문구, 오디오 서두의 음성 고지 등이다. 암시적 표식은 파일의 메타데이터에 삽입되어 육안으로는 보이지 않지만, 플랫폼과 규제 당국이 도구로 읽어낼 수 있으며 '이 콘텐츠는 누가 생성했고 어느 서비스에서 나왔는가' 같은 질문에 답하는 데 쓰인다.

책임은 단계별로 나뉜다. 서비스 제공자는 콘텐츠 생성, 유통, 다운로드这几个 시점에서 표식이 온전하도록 보장해야 하고, 앱 유통 플랫폼은 등록되는 앱이 표식을 추가하는 기능을 갖췄는지 심사해야 하며, 개인 사용자는 생성 콘텐츠를 게시할 때 자발적으로 신고해야 한다. 이 사슬은 그동안 사후에만 책임을 물을 수 있었던 콘텐츠 심사를 제품 설계와 앱 등록 단계로 앞당겼다.

퍼오기와 표절로 먹고사는 마케팅 계정에게 암시적 표식은 강한 제약이다. 예전에는 남의 영상에서 커버만 바꾸고 색만 조정하면 자기 원작인 양 올릴 수 있었지만, 이제 메타데이터에 출처 정보가 남아 있을 수 있고 플랫폼은 이를 따라 최초 서비스 제공자까지 추적해 표식 의무를 이행했는지 확인할 수 있다.

왜 이것 하나 때문에 별도의 방법을 제정했나

표식은 사소해 보이지만, AI 콘텐츠에서 가장 골치 아픈 부분, 즉 대규모 식별을 해결한다. 중국과학원 과학기술전략자문연구원 연구원 샤오유단은 한 해설에서 표식 제도의 주된 목표는 대규모, 고신뢰성, 저비용 규제를 실현하는 것이라고 언급했다. 콘텐츠 심사는 사람이 다 볼 수 없고, 모델 판단에 맡기면 잘못 걸러내기 쉽다. 반면 라벨은 자동으로 대조할 수 있고 비용도 낮은 신호다.

또 다른 겨냥 대상은 사기다. 국가반사기센터 앱은 이미 'AI 콘텐츠 감정' 기능을 출시했다. 텍스트, 이미지, 영상을 업로드하면 몇 초 만에 초기 판단을 내준다. 공안부 형사수사국이 지도하고 상하이시 공안국이 개발한 '국가반사기 AI' 앱도 함께 출시됐다. 의심스러운 상황을 입력하면 흔한 사기 수법을 분석해준다. 얼굴 바꾸기와 음성 합성은 최근 몇 년간 통신·인터넷 사기에 점점 더 많이 등장했다. AI 콘텐츠에 표식을 다는 것은 이 사슬에 저항을 하나 더 놓는 셈이다.

표식 방법은 고립된 조치가 아니다. 최고인민법원은 《인공지능 관련 분쟁 사건의 법에 따른 심리에 관한 의견》을 발표해 AI 얼굴·음성 합성, AI 환각에 의한 권리 침해, 인터넷 신상 털기 문제를 재판 사고에 담았다. 중앙인터넷정보판공실은 '칭랑·AI 응용 난립 정비' 특별 행동을 전개하며, 대형 모델 등록 미이행, AI 데이터 오염, 생성·합성 콘텐츠 표식 이행 미흡 등 일곱 가지 정비 대상을 나열했다. 9월 14일 발표된 《인공지능 안전 거버넌스 프레임워크 3.0》은 거버넌스 범위를 단일 기술 단계에서 데이터, 알고리즘, 모델, 애플리케이션, 공급망 전 과정으로 확장했다. 10월 8일에는 업계 최초의 생성형 AI 서비스 안전 등급 기준이 시행되기 시작했고, 에이전트 관련 기준은 13개 대분류, 97개 항목의 위험을 정리해냈다. 이 문서들의 시점은 서로 매우 가깝다. 이어 보면 콘텐츠에서 행위로, 단일 모델에서 전체 사슬로 나아가는 거버넌스 경로다.

다른 나라들도 같은 일을 하고 있다

시야를 조금 넓히면, 표식 제도 입법은 최근 몇 년간 전 세계적 공감대다. 미국, 싱가포르, 유럽연합, 영국 모두 각자의 생성형 AI 표식 규칙을 추진하고 있다. 유럽연합 《인공지능법》의 투명성 조항은 2026년 8월 2일 발효되어 AI 상호작용 공개, 합성 콘텐츠 표시, 딥페이크 표기를 요구하며, 위반 시 최대 3,500만 유로 또는 전 세계 연매출의 7% 중 높은 쪽을 과징금으로 부과한다. OpenAI는 규정 준수를 위해 유럽연합 범위에서 ChatGPT와 Codex가 생성한 텍스트에 보이지 않는 워터마크를 넣겠다고 발표했다.

차이는 힘을 싣는 지점에 있다. 유럽연합은 위험 등급화와 고액 과징금으로 서비스 제공자에게 압박을 가하는 반면, 중국의 이 방법은 전 사슬 흔적 남기기와 플랫폼 협업을 더 강조하며 표식 의무를 서비스 제공자, 유통 플랫폼, 사용자 삼자에게 나눈다. 두 경로의 공통 전제는 같다. 먼저 콘텐츠에 출처 정보를 붙여야 그다음에 책임 추궁과 거버넌스를 논할 수 있다.

창작자에게 닥치는 경험은 어떤가

일반 창작자에게 변화는 기술이 아니라 습관에 있다. 예전에는 AI가 그린 일러스트를 올릴 때 평범한 작품처럼 게시할 수 있었다. 이제는 자발적으로 신고해야 하는데, 신고하면 알고리즘이 트래픽을 눌러버리지 않을까 하는 것이 많은 사람의 의문이다. 아직 이를 답해줄 공개 데이터는 없다. 플랫폼의 암시는 자발적으로 표식한 콘텐츠는 추가 불이익을 받지 않으며, 실제로 제재되는 것은 표시하지 않고 실제 촬영인 척하려는 것들이라는 점이다.

정말 지켜볼 만한 것은 암시적 표식이 2차 가공을 견뎌낼 수 있느냐다. 워터마크가 들어간 영상이 남의 작품에 잘려 들어가고, 여러 번 재인코딩되고, 캡처돼 다시 올라가면 워터마크의 생존율은 떨어진다. 이것은 OpenAI 스스로 인정한 약점이기도 하다. 자사 텍스트 워터마크는 단어를 10% 바꾸면 검출률이 약 92%에서 66%로 떨어지고, 25%를 바꾸면 17%만 남는다. 표식은 위조 비용을 높일 수는 있지만 위조라는 길을 완전히 막을 수는 없다.

더 현실적인 문제는 경계에 있다. 실제 사진의 피부를 AI로 보정하고 배경을 바꾸고 지나가는 사람을 지웠다면, 이것은 AI 생성으로 봐야 하나? 이 방법은 방향을 제시했지만 구체적 판단은 여전히 플랫폼의 시행 세칙에 달려 있다. 라벨을 너무 넓게 잡으면 모두가 표시하게 되어 라벨이 정보로서의 가치를 잃고, 너무 좁게 잡으면 회색 지대에 있는 대량의 콘텐츠를 놓치게 된다.

표식 방법이 바꾼 것은 기본값이다. 이전에는 어떤 콘텐츠가 AI 생성인지 판단하는 것이 플랫폼의 일, 시청자의 일이었고, 유일하게 게시자의 일은 아니었다. 이제 그것은 먼저 게시자의 일이 된다. 이 한 걸음이 모든 문제를 해결하지는 않지만, 'AI 생성'을 숨길 수 있는 선택지에서 반드시 답해야 하는 질문으로 바꿔놓았다.