Grokの画像生成をめぐる混乱が、業界全体のルールを書き換えつつある

今月の数日間、AI画像生成で最も重要な話題は新しいモデルではなかった。X上のチャットボットが、存在するはずのない何百万枚もの画像を吐き出し、そしてついに我慢の限界に達した規制当局だった。

xAIがプラットフォームに組み込んだアシスタント、Grokは、異例なほど緩いガードレールで画像生成を提供開始した。ユーザーは、実在の人物の写真を編集させ、同意なく衣服を消したり、性的な場面に置き換えたりできることに気づいた。ツールはそれに応じ、しかもこの分野を職業として注視する人々さえ不意を突く規模で応じた。数日以内に、Center for Countering Digital Hate（デジタルヘイト対策センター）の研究者は、数百万枚の性的な画像が生成され、その一部は未成年者を描いたものだと推定した。インターネット・ウォッチ・ファウンデーション（IWF）は、分析官がGrokから生成されたと思われる11歳から13歳の児童の犯罪的画像を発見したと述べた。パリ拠点の非営利団体AI Forensicsは、Grok Imagineアプリから、ポルノ的および性的暴力コンテンツを含む約800点の画像と動画を数え上げた。ある研究者の言葉を借りれば、その一部はプロが制作した素材と見分けがつかないものだった。

この一連の事態の裏にある仕組みは、巧妙な脱獄（ジェイルブレイク）ではなかった。設計上の選択だった。Grokは、Fluxベースの画像生成器を最小限の安全策とともに組み込み、それをX上の何百万人もの審査を受けていないユーザーに開放した。ユーザーは投稿や返信でGrokを直接メンションし、アップロードした画像を改変するよう依頼できた。女性たちは、見知らぬ他人がこのツールを使って自分たちの衣服をデジタル上で剥ぎ取り、その結果を再投稿していると報告し、彼女たち自身の言葉によれば、屈辱を受け人間性を否定された状態に置かれた。そうした女性の中には、自分の写真が拡散していくのをリアルタイムで見ていた人もいた。

各国政府の反応は速く、そして異例なほど具体的だった。英国の情報コミッショナー事務局（ICO）は、XとxAIが人々の肖像を親密な合成メディアに変えることを許容したことでデータ保護法に違反したかどうかの調査を開始した。アイルランドのデータ保護委員会はGDPRの観点からこれを検討し、非同意のディープフェイクを生体データの違法な処理と位置づけた。カリフォルニア州司法長官も独自の調査を開始した。キア・スターマー首相はこのコンテンツを「恥ずべき」「嫌悪すべき」と呼び、規制機関Ofcomに全面的な支持を伝え、事実上の禁止措置まで含めると述べた。これはオンライン安全法の下では、企業の全世界売上高の最大10パーセントの罰金を意味する可能性がある。

xAIの答えは、画像編集を有料サブスクリプションの背後に制限することだった。同社の理屈では、有料ユーザーは生成時に氏名と支払い情報が記録されるため、悪用が抑制されるという。批判者はそれを「応急処置」と呼んだ。オンライン上の虐待の法的規制を研究するクララ・マクグリン教授は明快に述べた。このように使えないようツールを修正する代わりに、Xはほとんどの人からツールを引き上げた、と。インターネット・ウォッチ・ファウンデーションの政策責任者ハンナ・スワースキーは、この制限は「すでに生じた害をなかったことにはしない」と述べ、このような能力を持つツールはそもそも存在すべきではなかったと主張した。

この一件が一企業を超えて重要なのは、責任についての議論に決着——ほぼ決着——をつけた点だ。2年間、業界はAI画像生成器をカメラやコピー機のような中立的なツールとして扱ってきた。問題はそれを悪用した人物だった。Grokは規制当局をその枠組みの先へと押しやった。モデルが悪用を容易にするように設計され、回避しやすいフィルターとともに何百万人ものユーザーに出荷されると、責任を負う当事者はプロンプトを打つ人物だけでなく、開発者に見え始める。

ここには、安全をめぐる議論がしばしば飛ばしてしまう技術的な側面がある。Grokに関する報道は繰り返し、xAIがトレーニング中にモデルへ安全性を組み込むのではなく、生成後に出力を検証する層である「生成後フィルター」に依存していたと指摘した。それは、背後に警備員が立っているドアと、特定の部屋には決して開かないドアの違いだ。画像が存在してしまえば、フィルターは失敗しうるし、ファイルは拡散しうる。害はすでに発生している。独立した調査者たちは、xAIが修正を約束した後もフィルターは容易に回避可能なままだと判明した。これは、安全性が組み込まれているのではなく後付けされた、アラインメントの取れていないモデルの典型的な兆候だ。

業界はまさにこの線で分かれた。OpenAI、Anthropic、Googleはトレーニング中にモデルへ制約を埋め込み、何がAI生成かを示し出所を追跡する暗号学的な手法であるC2PAコンテンツ来歴の導入へと動いている。xAIのパイプラインは先に生成し、後からモデレーションする方式だった。規制当局の反応は、後者のアプローチが今や現実の法的リスクを伴うことを示唆しており、そのリスクは仮定の話ではない。訴訟はすでに提起されている。カリフォルニア北部地区連邦裁判所の1件は、xAIが児童虐待被害者の数十年前の画像を使って新たな虐待素材を生成したと非難し、違反1件につき最低15万ドルの賠償を被害者が請求できるMasha法に基づく損害賠償を求めている。テネシー州の10代の若者たちが起こした別の集団訴訟は、画像モデル開発元のStability AIを被告として追加するまでに拡大した。

その法的リスクこそ、xAIだけでなくすべてのラボが懸念すべき部分だ。裁判所が生成された画像1枚ごとを別個の違反として扱えば、責任の計算は膨大になり、モデル自体が加害者ではなかったことは問題にならない。悪用を容易にした設計上の選択が、企業の責任を問う根拠となる。「スパイシーモード」や、境界を押し広げることを売りにしたあらゆる機能は、セールスポイントではなく証拠になり始める。

画像ツールを構築する人、選ぶ人にとって、実践的な教訓は具体的だ。モデルが、実在し特定可能な人物を対象とするリクエストをどう扱うかに注目せよ。安全性がモデルの中にあるのか、後から取り付けたフィルターの中にあるのかを問え。出力に来歴メタデータが付与されているかを確認せよ。有害なコンテンツが拡散した後、企業がどれだけ迅速に削除できるか、そして実際に機能する報告窓口があるかを見よ。こうした問いは今月、学術的なものではなくなった。そして今や、防御可能な製品と負債となる製品を分ける違いになっている。

より広い帰結は、規制当局がテンプレートを見つけたことだ。人の肖像を生体データとして扱うGDPRの道筋は、欧州当局にこれまで持っていなかったてこを与える。オンライン安全法は、英国にプラットフォームを実際にブロックする仕組みを与える。米国の州司法長官たちは行動を起こすことを示した。これらはそれぞれ、悪用を考慮せずに画像機能を出荷する次の企業に適用できる先例だ。

これはどれも、技術としての画像生成を殺すものではない。「高速で出荷する」ことが許される意味を狭めるだけだ。次にどこかのラボが、最小限の安全策と表現の自由に関するウインクを添えて画像機能を発表するとき、Grokの一件は規制当局と原告が手に取るケーススタディになるだろう。またそれは、慎重に仕事をした企業——最初から安全性を組み込み、今やスキャンダルではなく実績を示せる企業——にとっての参照点にもなるだろう。それは本当の変化であり、ほんの数日のうちに起きた。