Cloudflare、AI企業に「コンテンツ対価」を強制——9月15日から Training・Agent クローラーをデフォルトブロック
Cloudflare は AI 企業が出版社コンテンツを無断利用することに対抗し、9 月 15 日から広告表示ページで Training・Agent クローラーをデフォルトブロック。ステーブルコイン決済を活用した Monetization Gateway で、クリエイターが AI 学習データの使用料を受け取れる仕組みが始まる。
9月15日から AI クローラーが「有料化」へ
Cloudflare が 2026 年 7 月 1 日、AI 企業に対する大規模な規制変更を発表しました。9 月 15 日を期限に、広告を掲載している Web ページに対して、AI 学習用（Training）と自動実行型（Agent）のクローラーをデフォルトでブロックします。
これまで OpenAI・Google・Anthropic などの AI 企業は、パブリッシャーの許可なく自社モデルの学習データとしてコンテンツをクローリングしてきました。Cloudflare の CEO マシュー・プリンスは「インターネット上の非人間的トラフィックが大多数となった今、行動を加速させる必要がある」とコメント。この変更は、出版社・ブロガー・クリエイターを保護し、AI 企業に対価を支払う圧力をかける戦略です。
クローラーの「3 分類体系」
Cloudflare は AI クローラーを目的別に 3 つに分類し、個別に管理できるようにしました。
| クローラー種別 | 用途 | 9月15日以降のデフォルト |
|---|---|---|
| Search | Google・Bing など検索エンジン用インデックス | 許可（変更なし） |
| Agent | ChatGPT・Gemini など、ユーザーの指示で実行される自動タスク | ブロック |
| Training | モデル学習用のデータ収集 | ブロック |
広告表示ページでは Training と Agent がデフォルトでブロックされるため、AI 企業が学習データを入手したければ、出版社に対価を支払う必要があります。
ステーブルコイン決済による「Web 対価化」
Cloudflare は同時に Monetization Gateway という新サービスも発表。x402 プロトコル（HTTP 402 ステータスコード）を活用し、Web ページ・Dataset・API・MCP ツールなど、あらゆるデジタル資産に対して数セント単位の課金を実現します。
決済の特徴：
- ステーブルコイン対応（USDC・Open USD など）
- 1 秒以下での決済完了
- チャージバックゼロ
- 手数料がほぼ無視できる水準
例えば、AI 企業が記事をクローリングする際に「1 回 0.01 ドル」「1MB あたり 0.01 ドル」といった細粒度の課金が可能になります。オリジンサーバーを高トラフィックから保護しながら、クリエイターが直接収益を得られる仕組みです。
出版社に求められる対応
Cloudflare のすべてのお客（Free 層含む）は、Security 設定で新しい AI クローラー管理オプションにアクセス可能。対応方法は 3 つです。
-
デフォルト設定のまま（推奨）
- 9 月 15 日から、広告表示ページで Training・Agent は自動ブロック
-
カスタム設定
- 特定のクローラーのみ許可・ブロック
- 料金設定（Monetization Gateway）
-
Enterprise 向け
- 新しい「BotBase」ダッシュボードで AI エージェント個別認証・追跡
AI 企業への現実的なプレッシャー
Cloudflare のレポートによれば、AI クローラーのトラフィック量の 50% 以上が変更されていないページの再クローリングに費やされているため、学習データ入手コストが増加しても、効率化できる余地があります。
一方で、Open AI や Google は「著作権者の許可を得ずにコンテンツを使用するのは合法」と主張してきましたが、Cloudflare・Meta・Amazon が次々と「対価のしくみ」を提供し始めたことで、業界全体が「有料化」へシフトしつつあります。
実装期限：2026 年 9 月 15 日。AI 企業は今後 3 ヶ月以内に、クローラーの分離とコスト構造の見直しを迫られることになります。
