CloudflareとGoDaddyがAIボットの“群れ”を抑え込むため協力
スクレイピングのブロックと標準化を後押しし、信頼できるエージェントと悪質なボットを分離
AIエージェントのニーズを満たすために、インターネットのあり方がますます変化している一方で、サイト運営者のニーズが考慮されていない現状への適応が必要だとして、CloudflareとGoDaddyは、AIがWebを巡回（クロール）し、Web上のコンテンツとどのように相互作用するかを制御する取り組みで提携しています。
コンテンツ配信ネットワークとWebホスティングを提供する同社は火曜日に「発表」の中で、主にGoDaddyがCloudflareの「AI Crawl Control」ユーティリティを自社のプラットフォームに統合することで、Webサイト運営者がAIとの関係をより適切にコントロールできるよう支援する方針を明らかにしました。両社がリリースで説明したように、このツールは、AIが自社サイトとどう関わるかを運営者が管理できるようにし、許可、ブロック、またはアクセスのための支払いを要求できるようにします。
Cloudflareのチーフ戦略責任者（CSO）であるステファニー・コーエン（Stephanie Cohen）は、この動きについて「AI Crawl Controlのようなツールやオープンな標準を、Webサイト運営者の手に届けることで、新たなインターネットのビジネスモデルに不可欠な土台を提供しています」と述べました。「私たちは、正当なAIエージェントが参加するための、安全で透明性のある方法を用意しつつ、あらゆるクリエイターが自分のサイトに誰がアクセスしているのかを検証するためのツールを持てるようにしたいのです。」
Cloudflareは、ボットがWebサイトやWebコンテンツにアクセスすることを制御する必要性をずっと訴えており、近年は未許可のスクレイピングを制限することを狙った複数の対策を導入してきました。2025年には、未許可のAIスクレイパーの時間を無駄にして罠にかけるAIとして、際限なくゴミを与えることで対処すると発表しています。さらに以前から、AIボットにWebサイトへのアクセスに対する支払いを求める取り組みを推進してきました。
ボットへの課金は、CloudflareがWebサイト運営者を守るためのアイデアの1つだった。同社はCDNとして、同運営者らがウェブトラフィックによって稼いできた大金を失いつつあると指摘している。というのも、多くの検索訪問者が今では、GoogleのAI OverviewsのようなAIによって探している答えを直接与えられるようになり、その結果、元の情報源へのクリックが減っているからだ。
この件には2人とも利害がある。サイト運営者が稼げなければ、2人自身も支払われる見込みが薄いのは明らかだからだ。
良いボット：コインの裏側
悪いボットを止めるための障壁を設ける、というのが2人の言うこの取り組みの狙いであるなら、当然その過程で大量の良いボットも捕まえてしまうことになる。だからこそCloudflareとGoDaddyも、悪いボットの影響範囲を制限しつつ、良いボットは稼働し続けられるはずだと考える新たな標準への支持を表明している。
2人は、Agent Name Service（ANS）への支持を表明した。これは、昨年提案された、AIエージェント向けのDNSのように機能するものだ。AIエージェントをコントローラに紐付けるなどして、ある程度の信頼と確実性を持って運用できるようにする、オープンでプロトコル非依存のAIエージェント登録簿を作ることを目的としている。
最終的にANSはGoDaddyによって構築された、と私たちは指摘しておく。そしてANSはGitHubで公開されている。2人はまた、CloudflareのWeb Bot Auth 方式にも力を入れており、これはHTTPメッセージ内の暗号学的署名を用いて、そのリクエストがAIボットからのものかどうかを判断する。2つの技術は、2人によれば、暗号学的に署名されたリクエストによってAIエージェントが自らを識別できるようにする。
「エージェントを識別するための、オープンなエコシステムとしての標準と手法があることで、エージェント型のWebは、デフォルトで組み込まれた透明性によって進化していける」と2人は述べた。
- AIエージェントは、あなたの見栄えの良いサイトや魅力的な広告には関心がない
- AIのWebクローラが、あらゆるコンテンツへの終わりなき飢えによってサイトを破壊している
- CloudflareはWebサイトをAIエージェントの“ファストフード”に変える
- AIクローラは、Webサイトと仲良くする方法を学んでいない
CloudflareとGoDaddyはまた、「Answer Engineの時代における公正な価値の交換」を確保したいと望んでいると指摘した。つまり本質的には、インターネットを“人間第一”の場所に保ち、デジタル世界への貢献に対して、私たちのような肉の人間が適切に報われるようにしたいのだということだ。
もちろん、これらの標準への支持があるからといって、誰もがそれを採用するとは限らない。しかしCloudflareとGoDaddyの両方の顧客が利用できるのであれば、かなりの範囲のWebはカバーされている可能性が高い。世界中の約20パーセントのWebサイトが、Cloudflareのリバースプロキシの背後にあると推定されており、GoDaddyも巨大なWebホスティング事業者だ。
AIエージェントの標準を「標準」と呼べるほどの規模で普及させるには、そこまで決定的な大規模ではないかもしれない……が、出発点としては十分だ。さらに、Sam AltmanのAIエージェントのライセンス申請のための“眼球スキャン”構想よりは、成功する可能性がはるかに高い。つまり、そこもあるわけだ。
いずれにせよ、近いうちに何かが起きる必要がある。MIT CSAILが2月に公表した2025年のAIエージェント・インデックスでは、AIボットがrobots.txtの制限を定期的に無視しており、また安全性に関するデータを公開しているものはほとんどないことが分かった。増殖し、インターネットの形を変えていくにつれて、世界共通で合意されたルールが必要だ。 ®
