← ブログに戻る
Ai読了目安 13 分

4.7 万件の情報、3961 のアカウントの後で、AI なりすまし販売に足りないのは公開前のゲート

公開日 2026年11月8日
4.7 万件の情報、3961 のアカウントの後で、AI なりすまし販売に足りないのは公開前のゲート

11 月 6 日、ネット情報管理部門は集中整治の結果を公表した。違法有害情報 4.7 万余件を削除し、アカウント 3961 件を処分したという内容だ。対象は具体的に書かれている。「AI 技術を使って著名人になりすまし、偽の商品販売やフォロワー稼ぎ、利用者の誤導を行うもの」である。

通報は四つの類型を挙げている。アカウント名は伏せ字だが、プラットフォームの分布ははっきりしている。WeChat の「花\*\*记」「时\*\*叙」「秀\*\*8」、Douyin の「微\*\*天」「S\*\*物」、Xiaohongshu の「小\*\*C」「瓦\*\*款」は、許諾なく著名人の肖像を模倣したり、声を合成したり、あるいは著名人の家族の写真を流用して商品を宣伝していた。WeChat の「山\*\*话」「旧\*\*故」は AI の特殊効果で、ある著名人がアルツハイマー病に罹ったという噂をでっち上げた。Douyin の「才\*\*河」、Xiaohongshu の「秋\*」、Bilibili の「老\*\*迷」、Kuaishou の「云\*」は本人になりすまし、一人称で意見を述べ、経験を語り、感情に訴える話術で人をフォローへ誘導した。Kuaishou の「康\*」は低俗なダンスや親密なやり取りの映像を生成し、それでフォロワーを集めてから収益化した。

この四類型は、商業的な動機の強さがかなり違う。第二と第三はトラフィックが目的で、第一と第四は最終的に取引に行き着く。そして第一の類型の中に、切り出して見る価値のある一文がある。著名人の家族の肖像写真やイメージの変種を流用する、という部分だ。この経路は「本人の素材は手に入りにくい」という問題を迂回する。家族の集合写真が一枚あれば、顔の差し替えを加えるだけで、見た目にもっともらしい販売動画が組み上がる。

処分はアカウントに落ちるが、問題は公開の前にある

通報の言葉は「アカウントを処分」であって、「ある動画を削除」ではない。この違いは小さくない。単体のコンテンツは消されても再投稿できるが、アカウントが凍結されて初めて入金経路とフォロワーの母集団が切れる。治理の効率から見れば、痛みの大きい一刀だ。

ただしアカウントの処分は事後の動作だ。CCTV『新聞聯播』の併評は、プラットフォームがやるべき四つのことを順番として書いている。早期発見、早期警告、早期遮断、早期除去。四つの「早期」のうち、前の三つは公開の前に来る。

問題は、AI の顔差し替えの生成コストが量産して試せるほど下がったのに、識別コストは依然として高いことだ。15 秒のなりすまし動画は既製のツールで数分で作れる。人手の審査は判断を下すまでに数十秒かかる。機械審査は圧縮やトリミング、再録画といった回避手段とも向き合わなければならない。生成と識別のコスト曲線は、いま逆向きに走っている。

《人工智能生成合成内容标识办法》は 2025 年 9 月 1 日から施行され、四つの部門の共同公布で、明示的標識と暗黙的標識の両方を求めている。明示は利用者に見える表示、暗黙はファイルのメタデータに残す刻印だ。この設計は正常な公開フローの中では有効に働く。問題は、悪意あるアカウントがそもそも正常なフローを踏まないことだ。メタデータは消せて、明示標識は切り取れて、画面は撮り直せる。

だからプラットフォームが実際に噛みつけるのは透かしではなく、人と物の照合だ。著名人の顔と声は数え上げられる小さな集合で、既知のリストと突き合わせる方が、「この動画が AI 生成かどうか」を判定するより技術的に現実的だ。ここが「事前予防」の落としどころでもある。公開の段階で一度止める方が、事後に千件を遡るより安い。

スマートフォンの画面に短い動画のフィードが流れ、アカウント名が伏字になっている。

司法の側はすでに挙証責任の位置を動かした

11 月 2 日、上海市第一中級人民法院の声優の事件は、非常に具体的な信号を出した。侵害音声と本人の声は 28 個のフォルマント音響指標のうち 24 個で乖離度が 10% 未満、そのうち 16 個が 5.36% 未満、「やや類似」と「高度に類似」を合わせて 90% を占めた。裁判所はプラットフォームの運営側に 5 万元の賠償を命じた。

さらに重要なのは挙証責任の配分だ。権利者は二つのことだけ証明すればよい。自分の声が取得されうる合理的な経路があったこと、合成音声が自分と高度に類似していること。これで初歩的な挙証は完了する。次にプラットフォームが、学習データの出所が適法であること、あるいは合成音声が権利者と無関係であることを証明する番になる。判決文はこのルールの意味を率直に書いている。AI 侵害における「証拠が片側に偏る」構造的な問題に応えるためであり、プラットフォームが「技術的なブラックボックス」「担当者の退職で確認できない」といった理由で責任を逃れるのを防ぐためだと。

この事件の判断枠組みは、2026 年 9 月 7 日の《最高人民法院关于依法审理涉人工智能纠纷案件的意见》第四条に対応する。同じ考え方を今回の整治に当てはめれば、意味は同じだ。データを握る者が、データの来歴を示せなければならない。

プラットフォームにとっての現実的な意味はこうだ。学習コーパスの出所記録、素材の許諾証憑、審査工程のログ。普段はコンプライアンス書類に見えるこれらのものは、事故が起きたとき、自分に責任がないことを示せる唯一の材料になる。痕跡を残す価値は平時ではなく、被告になったその日にある。

事業者とクリエイターの側では、コンプライアンスは実質三つ

一つ目は許諾の連鎖だ。実在の人物の姿や声を使うなら、自分で撮ったものでも取引先から渡されたものでも、紙に落とせる許諾範囲が必要になる。上海の事件で、プラットフォーム側は「相手が声優だと知らなかった」と抗弁したが、裁判所は受け入れなかった。知らないことは、使ってよいことを意味しないからだ。

二つ目は標識だ。明示標識は画面の中に、暗黙標識はファイルの中に残す。これは今や任意ではなく必須の要件だ。見栄えが落ちると嫌って標識を極端に小さくするチームは多いが、実際の執行では不合規と認定される可能性が高い。

三つ目は素材の出所を残すことだ。これが最も飛ばされやすく、紛争で最も致命的になりやすい。素材がどこから来たか、誰が渡したか、許諾がどの用途を覆うか。完成品と一緒に保管するのが望ましく、数人のチャット履歴に散らばらせるべきではない。

今回の整治は一度きりではない

通報の最後の一文はこうだ。「次の段階では、整治の力度を継続的に強め」「サイトとプラットフォームの主体的責任をさらに圧実する」。この種の表現はここ二年の AI 治理文書に何度も出てきており、指しているのは常態化であって、運動型ではない。

AI コンテンツの商売をしている人にとって、判断の基準はむしろ簡単になった。画面の中の人が誰か説明できるか、許諾がどこから来たか言えるか、このコンテンツに標識があるか。三つとも答えられれば、ある日アカウントが突然消える心配は要らない。答えられないなら、規模を大きくするほどリスクの蓄積は速くなる。

プラットフォームにとっては、競争の焦点が「生成できるか」から「公開のその一秒で止められるか」へ移る。3961 というアカウント数は今回の成績表だ。次の成績表は、おそらく何件を処分したかではなく、何件を止めたかを見る。

関連記事