4만 7,000건의 정보, 3961개 계정 이후, AI 사칭 판매에 필요한 건 게시 전의 관문

11월 6일, 네트워크 정보 관리 부서는 집중 단속 결과를 발표했다. 위법 정보 4만 7,000여 건을 정리하고 계정 3961개를 처리했다는 내용이다. 대상은 아주 구체적으로 적혀 있다. "AI 기술로 유명 공인을 사칭해 허위 판매, 팬 유입, 이용자 오도를 하는 행위"다.
발표에는 네 가지 유형이 나온다. 계정 이름은 가렸지만 플랫폼 분포는 분명하다. 위챗(WeChat)의 "花\*\*记" "时\*\*叙" "秀\*\*8", 더우인(Douyin)의 "微\*\*天" "S\*\*物", 샤오홍슈(Xiaohongshu)의 "小\*\*C" "瓦\*\*款"는 허가 없이 유명인의 초상을 모방하거나 목소리를 합성했고, 공인 가족의 사진을 도용해 상품을 홍보했다. 위챗의 "山\*\*话" "旧\*\*故"는 AI 특수효과로 한 공인이 알츠하이머병에 걸렸다는 소문을 지어냈다. 더우인의 "才\*\*河", 샤오홍슈의 "秋\*", 비리비리(Bilibili)의 "老\*\*迷", 콰이서우(Kuaishou)의 "云\*"는 본인을 사칭해 1인칭으로 의견을 내고 경험을 말하고 감정에 호소하는 화법으로 사람들을 팔로우로 끌어들였다. 콰이서우의 "康\*"는 저속한 춤과 친밀한 상호작용 영상을 생성해 팬을 모은 뒤 수익화했다.
네 유형은 상업적 동기의 강도 차이가 크다. 두 번째와 세 번째는 트래픽이 목적이고, 첫 번째와 네 번째는 결국 거래로 끝난다. 그리고 첫 번째 유형에서 따로 꺼내 볼 문장이 하나 있다. 공인 가족의 초상 사진과 이미지 변형을 도용한 부분이다. 이 경로는 "유명인 본인의 소재를 구하기 어렵다"는 문제를 우회한다. 가족 단체 사진 한 장에 얼굴 바꾸기를 더하면 그럴듯해 보이는 판매 영상이 조립된다.
처벌은 계정에 떨어지지만, 문제는 게시 전에 있다
발표의 표현은 "계정 처리"이지 "특정 영상 삭제"가 아니다. 이 차이는 작지 않다. 개별 콘텐츠는 지워도 다시 올릴 수 있지만, 계정이 정지되어야 입금 경로와 팬 풀이 끊긴다. 관리 효율에서 보면 통증이 더 큰 칼날이다.
하지만 계정 처리는 사후 조치다. CCTV '신원롄보'의 논평은 플랫폼이 해야 할 네 가지를 순서로 적었다. 조기 식별, 조기 경보, 조기 차단, 조기 정리. 네 가지 "조기" 가운데 앞의 세 가지는 모두 게시 전에 있다.
문제는 AI 얼굴 바꾸기의 생성 비용이 대량 시행착오가 가능할 만큼 낮아졌는데 식별 비용은 여전히 높다는 점이다. 15초짜리 사칭 영상은 기성 도구로 몇 분이면 나온다. 사람이 검수하려면 판단을 내리기까지 수십 초가 걸리고, 기계 검수는 압축과 크롭, 재녹화 같은 회피 수단까지 상대해야 한다. 생성과 식별의 비용 곡선은 지금 반대 방향으로 달린다.
《人工智能生成合成内容标识办法》는 2025년 9월 1일부터 시행됐다. 네 부처가 공동 발표했고 명시적 표지와 암시적 표지를 모두 요구한다. 명시는 이용자가 볼 수 있는 안내이고, 암시는 파일 메타데이터에 남기는 표식이다. 이 설계는 정상적인 게시 흐름에서는 유효하다. 문제는 악의적인 계정이 애초에 정상 흐름을 밟지 않는다는 것이다. 메타데이터는 지울 수 있고, 명시 표지는 잘라낼 수 있고, 화면은 다시 촬영할 수 있다.
그래서 플랫폼이 실제로 물 수 있는 것은 워터마크가 아니라 사람과 사물의 대조다. 공인의 얼굴과 목소리는 열거 가능한 작은 집합이고, 알려진 명단과 대조하는 것이 "이 영상이 AI 생성인가"를 판정하는 것보다 기술적으로 현실적이다. "사전 예방"이 착지할 지점도 여기다. 게시 단계에서 한 번 막는 것이 사후에 천 건을 추적하는 것보다 싸다.

사법 쪽은 이미 입증 책임의 위치를 옮겼다
11월 2일 상하이 제1중급인민법원의 성우 사건은 아주 구체적인 신호를 줬다. 침해 음성과 본인 목소리는 28개 포먼트 음향 지표 가운데 24개에서 편차가 10% 미만이었고, 그중 16개는 5.36% 미만이었으며 "상당히 유사"와 "매우 유사"가 합쳐 90%를 차지했다. 법원은 플랫폼 운영 측에 5만 위안 배상을 명령했다.
더 중요한 것은 입증 책임의 배분이다. 권리자는 두 가지만 증명하면 된다. 자기 목소리가 취득될 합리적 경로가 있었다는 것, 합성 음성이 자기와 매우 유사하다는 것. 그러면 1차 입증이 끝난다. 다음은 플랫폼이 학습 데이터 출처가 적법하다는 것, 또는 합성 음성이 권리자와 무관하다는 것을 증명할 차례다. 판결문은 이 규칙의 의미를 노골적으로 적었다. AI 침해에서 "증거가 한쪽에 몰리는" 구조적 문제에 대응하고, 플랫폼이 "기술적 블랙박스"나 "직원 퇴사로 확인 불가" 같은 이유로 책임을 떠넘기는 것을 막기 위해서라고.
이 사건의 판단 틀은 2026년 9월 7일 《最高人民法院关于依法审理涉人工智能纠纷案件的意见》 제4조에 대응한다. 같은 사고를 이번 단속에 적용하면 의미는 같다. 데이터를 쥔 쪽이 데이터의 내력을 내놓을 수 있어야 한다.
플랫폼에 대한 현실적 의미는 이렇다. 학습 코퍼스의 출처 기록, 소재 라이선스 증빙, 검수 단계의 로그. 평소에는 컴플라이언스 서류처럼 보이는 이것들이, 문제가 터졌을 때 자기에게 책임이 없음을 보여줄 유일한 자료가 된다. 기록을 남기는 가치는 평시가 아니라 피고가 되는 그날에 있다.
판매자와 창작자 쪽에서 컴플라이언스는 사실 세 가지다
첫째는 라이선스 사슬이다. 실제 인물의 이미지와 목소리를 쓰려면, 직접 찍은 것이든 협력사가 준 것이든 종이에 남길 수 있는 허용 범위가 있어야 한다. 상하이 사건에서 플랫폼 측은 "상대가 성우인 줄 몰랐다"고 항변했지만 법원은 받아들이지 않았다. 모르는 것은 써도 된다는 뜻이 아니기 때문이다.
둘째는 표지다. 명시 표지는 화면 안에, 암시 표지는 파일 안에 남긴다. 이제는 선택이 아니라 강제 요건이다. 표지가 보기 나쁘다며 아주 작게 만드는 팀이 많은데, 실제 집행에서는 불합격으로 판정될 가능성이 높다.
셋째는 소재 출처를 남기는 일이다. 가장 자주 건너뛰는 항목이고, 분쟁에서 가장 치명적이기 쉽다. 소재가 어디서 왔는지, 누가 줬는지, 라이선스가 어떤 용도를 덮는지. 완성본과 함께 보관하는 게 좋고, 몇 사람의 채팅 기록에 흩어 두는 건 좋지 않다.
이번 단속은 일회성이 아니다
발표의 마지막 문장은 "다음 단계에서 단속 강도를 계속 높이겠다", "웹사이트와 플랫폼의 주체적 책임을 더욱 압실하겠다"였다. 이런 표현은 최근 2년의 AI 거버넌스 문서에 여러 번 나왔다. 가리키는 것은 상시화이지 운동식이 아니다.
AI 콘텐츠 사업을 하는 사람에게 판단 기준은 오히려 단순해졌다. 화면 속 사람이 누구인지, 라이선스가 어디서 왔는지, 이 콘텐츠에 표지가 있는지 말할 수 있는가. 세 가지 모두 답할 수 있으면 어느 날 계정이 갑자기 사라질 걱정은 없다. 답하지 못하면 규모가 커질수록 위험은 더 빨리 쌓인다.
플랫폼에게 경쟁의 초점은 "생성할 수 있는가"에서 "게시되는 그 1초에 막을 수 있는가"로 옮겨간다. 3961개 계정은 이번 라운드의 성적표다. 다음 성적표는 아마 얼마나 처리했는지가 아니라 얼마나 막았는지를 볼 것이다.