Cloudflare、AI クローラー遮断をダッシュボードから設定可能に
コンテンツ提供側の同意取得が、ついにインフラ層で標準化される流れが始まった。Cloudflare がAI クロールの許可・遮断をワンクリックで切り替えられる管理画面機能を公開し、同じ日に OpenAI と Getty Images のライセンス契約も成立した。
技術者なしには対処できなかった「クローラー拒否」
「AI に学習データとして使わせたくない」——そう思っても、サイト運営者に残された手段は限られていた。robots.txt に Disallow ディレクティブを書く方法は、AI 企業がそのルールを守るかどうかという信頼に依存する。WAF（ウェブアプリケーションファイアウォール）ルールで IP レンジやユーザーエージェントをブロックする方法は効果的だが、設定には専任のエンジニアが必要だった。
結果として、小規模なメディアやブログ運営者はAIクローラーへの実質的な拒否権を持てない状態が続いていた。著作権やデータ同意に関する議論が法廷で争われる一方、インフラ側の対応手段は技術力のある事業者に偏在していた。
ダッシュボードから 3 ステップで制御
ダッシュボードでトグルを切り替える
Cloudflare の管理画面に「AI クローラー」セクションが追加された。サイト全体の許可・遮断を単一のトグルで切り替えられる。エンジニア不要でノーコード操作が可能になったのが最大の変化点だ。
Cloudflare がネットワーク層でフィルタリング
設定を受け取った Cloudflare のエッジネットワークが、既知の AI クローラー（GPTBot、ClaudeBot、CCBot など）をユーザーエージェント識別子とIPレンジに基づいて自動的に遮断・許可する。robots.txt に依存しないため、未宣言のクローラーにも有効に機能する。
Getty × OpenAI のようなライセンス契約へのシフト
同日、OpenAI と Getty Images がコンテンツライセンス契約を締結したことは示唆的だ。インフラ側での遮断が容易になれば、AI 企業はコンテンツ提供者と個別に交渉・契約するルートを選ぶインセンティブが高まる。
同意インフラがネットワーク層で標準化へ
今回の動きが示す方向性は明確だ。コンテンツ提供側の同意取得がインフラ層で標準化されつつある。Cloudflare のようなネットワーク事業者が「AI 学習データ流通の gate keeper」になることで、コンテンツ所有者の意思がより確実に反映される仕組みが整う。
AI 企業の側から見ると、良質な許諾済みデータを調達しやすい環境が整う方向に向かう。違法グレーゾーンでのスクレイピングよりも、正規のライセンス契約を結ぶことで学習データの法的リスクを下げられる。Getty との契約はその先行事例になり得る。
残る課題は既存の学習済みデータの扱いと、Cloudflare 以外の CDN・ホスティングサービスへの波及だ。しかし「同意なき AI クローリング」を許容しないという社会規範は、インフラ側からも強化される局面に入った。