robots.txtは紙の壁：Reddit対Anthropicとオーストラリアのコンプライアンス公聴会

すべてのウェブサイトには、robots.txt という小さなテキストファイルがあります。これは自動プログラムに対し、どのページを読んでよく、どのページに触れてはいけないかを伝えるものです。鍵のかかっていないドアに貼られた、丁寧な貼り紙のようなものです。その貼り紙の裏に鍵はありません。

要請と執行の仕組みの間にあるこの隔たりは今、二つの別々の争いの中心にあります。一つは米国の法廷で、もう一つはオーストラリアの議会公聴会です。どちらも異なる角度から同じ問いを投げかけています。「クロール禁止」のシグナルは、無視されたとき、実際には何を意味するのか、と。

オーストラリア：オプトアウトできないオプトアウト

Anthropicは10月初旬、オーストラリアの人工知能に関する合同特別委員会に出席しました。同社は、自国コンテンツでのAI学習に対する「限定的な条件付き承認」と自ら呼ぶものを提案し、権利者がrobots.txtでクローラーをブロックすることでオプトアウトできるとしていました。この提出文書は、広範なテキスト・データマイニング例外をオーストラリアが拒否したことを暗黙に受け入れ、妥協案としてオプトアウトを提示したものでした。

公共放送局はこれを受け入れませんでした。ABCのコンテンツ・法務業務責任者であるケイト・ギルクリスト氏は委員会に対し、著作権制度は十分に機能しており、AI企業は必要なライセンスについて交渉できると述べました。彼女のオプトアウトへの異議は構造的なものでした。放送局は、関連するすべてのサイトでオプトアウトされていることを確認するためにインターネットをくまなく調べることなどできない、と。「それは単に機能しません」と同氏は言いました。

SBSも独自の提出文書で同じ点を指摘し、robots.txtのシグナルは日常的に回避されており、不正を避ける責任はAI企業側にあるべきだと記しました。

ギルクリスト氏が描いた非対称性こそが核心です。権利者は、考えうるあらゆるスクレイピング経路にわたってオプトアウトのシグナルを特定し、監視し、無期限に維持しなければなりません。AI企業にとって、シグナルを回避する技術的コストはほぼゼロであり、具体的な救済手段が存在しない現状では、法的コストもほぼゼロです。クローラーは、別のユーザーエージェント識別子を使う、仲介業者を経由する、あるいはブロックが設定される前にコンテンツを取得しておくことで、robots.txtを無視できます。

この疑念には記録された根拠があります。パブリッシャーとAI企業の間のライセンス契約を仲介するスタートアップ、TollBitは、複数の提供元のAIエージェントがコンテンツを取得するためにrobots.txtプロトコルを回避していることを発見しました。その後Business Insiderは、OpenAIとAnthropicが、尊重すると公言しているにもかかわらずrobots.txtのシグナルを回避したと報じました。

ABC自身の立場には、特筆すべき皮肉があります。2026年7月、同放送局はエンタープライズAIプラットフォームとしてAnthropicのClaudeを採用し、ラジオ放送をデジタル記事に変換するため100人のスタッフによるパイロットを開始しました。その一方で、Anthropicの製品は自社コンテンツを無断で学習した可能性が高いと主張してもいました。両方が同時に真でありうるし、まさにそこが要点です。ある面での協力は、別の面での問題を解決しないのです。

米国：契約というルート

Anthropicに対するRedditの訴訟は、異なる法的道筋をたどります。連邦裁判所はRedditの契約上の請求を審理継続することを認め、これによりプラットフォームは著作権法の枠外でデータ収集に異議を唱えるルートを得ました。

この区別は重要です。著作権は、保護された素材が複製されたか、そして抗弁が成立するかを問います。契約は、収集者がアクセス、自動収集、商業利用に関する条件を受け入れたかどうかを問います。自らの価値の一部が、ホストしているが完全には所有していない素材にあるプラットフォームにとって、契約理論のほうが使い勝手が良いのです。

差し戻し命令は、AnthropicがRedditの契約に違反したと判断したものではありません。そのより広い重要性はむしろ限定的です。裁判所はRedditの契約上の権利を著作権とは質的に異なるものとして扱い、進行中の争いにおいて契約違反の理論を存続させたのです。

利用規約が実際的な重みを持つようになると、それらはデータガバナンスのインフラへと変わります。企業は、方針書に表面上書かれている以上のこと——通知、同意、アクセス条件、そして収集時点での該当する規約の版——を証明する必要があります。訴訟は、争われているアクセス期間中にどの規約が適用され、それがどのように表示されていたかに左右されうるのです。

robots.txtがそもそも持ちこたえられなかった理由

このファイルの歴史は逆転しています。1990年代、robots.txtは主に検索エンジンがサーバーに過度な負荷をかけるのを防ぐために存在していました。サイトはインデックスされることを競い合っていました。インデックスされることは訪問者を意味したからです。それ以来、関係は反転しました。同じファイルが今やドアを閉ざすために使われています。ウェブを読む新しい機械たちは、誰も送り返してはくれないからです。

ブロックは、ブロックに従うクローラーにしか効きません。著名なニュースサイトのうちAIプログラムをブロックしている割合は、2023年9月の約23パーセントから、2025年5月までにほぼ60パーセントへと急増しました。それでも、OpenAI自身のクローラーは2024年後半に、それらの注意書きを42パーセントの割合で無視していたことが観測され、より広範なテストでは英国の企業サイトの72パーセントで違反が見つかりました。

貼り紙の強さは、その背後に立つ弁護士と同じだけしかありません。そしてほとんどのサイトには、Redditほどの弁護士はいません。

構築者にとってこれが意味すること

AIシステムを構築する企業にとって、実践的な教訓はデューデリジェンスに関するものです。学習データを購入または収集する際には、それが提供元プラットフォームの規約と矛盾する条件の下で集められたものかどうかを知る必要があります。これは、契約上の来歴を、自動的なコンプライアンスを可能にするはずの機械可読な信頼シグナルと結びつけます。

居心地の悪い結論は、この自主的なプロトコルが、まさにそれが最も弱かったところで試されているということです。Redditはペイウォールを築き、法的警告を送り、ある競合の回答において自社コンテンツの引用が40倍近くに増えるのを見て、そして訴訟を起こしました。貼り紙は要請した。ゲートはブロックした。脅しになっているのは訴訟だけです。

robots.txtが牙を持つようになるかどうかは、Redditの契約理論がどう展開するか、そしてオーストラリアが、自国の国営放送局が機能しないと言うシグナルに頼るのではなく、救済手段を法制化するかどうかにかかっています。それまでは、鍵のかかっていないドアに貼られた丁寧な貼り紙は、まさにそのままであり続けます。

外部からは誰も答えられないコンプライアンスの問い

この議論が原則ではなく執行へと何度も舞い戻るのには理由があります。サイトのアクセス条件は意味を持つべきだ、ということには誰もが抽象的に同意します。意見が分かれるのは、それを現実にするコストを誰が負うかです。

Anthropicが提案したオプトアウトモデルでは、コストは権利者が負います。パブリッシャーは、どのクローラーが自社コンテンツを読んでいるかを突き止め、適切なブロックを記述し、新しいクローラーが現れるたびにそれを最新に保ち、違反を監視しなければなりません。これはAI企業の数に応じて増大する継続的な運用負担であり、クローラーがブロックを無視しても何の救済も生みません。

ABCが主張した許可優先モデルでは、コストはAI企業が負います。何を学習したいかを特定し、ライセンスについて交渉し、何を使用してよいかの記録を保たなければなりません。これは見慣れた取り決めであり、著作権がすでに支えているものです。

この二つのモデルは監視コストを異なる当事者に負わせます。実践的な刃を伴う政策の違いであり、現在それを負っている当事者は負担できないと言っています。だからこそrobots.txtの議論は、AI学習を法制化しようとするあらゆる法域で繰り返し浮上するのです。技術標準が、設計されたことのない法的な仕事をさせられているのです。

技術的な解決策がいつも不十分に終わる理由

完璧なオプトアウトレジストリでさえ、根本的な問題を解決しないでしょう。シグナルは企業ではなくクローラーを識別するものだからです。企業は仲介業者を通じてスクレイピングし、別のユーザーエージェントを使い、あるいはブロックが設定される前に収集したコンテンツに頼ることができます。

歴史的な記録がこれを具体的に示しています。GPTBotがrobots.txtの指示に正式に従い始めたのは、それに商業的価値をもたらしたモデルがすでに学習済みだった後のことでした。将来に向けたブロックは、過去に行われた収集をなかったことにはできません。また、ある識別子へのブロックは、別の識別子で名乗ることのできる企業を拘束しません。

これが、権利者側でインターネット全体を取り締まることなどできないとABCが述べたときに指し示した隔たりです。シグナルは送る側にとって安く、受け取る側にとって高くつきます。効果的なコンプライアンスの仕組みが通常そうであるのとは逆です。シグナルを無視することに救済手段が結びつかない限り、インセンティブは一方向にしか働きません。