ウェブの半数以上がAIボットに、Cloudflareが9月15日から無償ブロックへ
AIがウェブトラフィックの過半数を占め、サイトへのリンク経由の来訪が減少している。Cloudflareは9月15日からAIクローラーを既定でブロックする方針を発表した。
ウェブを30年間支えてきた「サイトは検索エンジンに無償で開放する代わりに、リンクで来訪者を得る」という暗黙の了解が崩れつつある。CDN大手Cloudflareの推計によると、現在では全ウェブトラフィックの半数以上をAIボットが占めており、サイト側の対抗策として9月15日からAIクローラーを既定でブロックする方針を打ち出した。
リンクなき利用が広告収入を奪う
検索エンジンはサイトへのリンクを提示し、ユーザーをそのサイトに送客することで成り立ってきた。一方、AI検索・要約ツールの多くは、サイトのコンテンツを回答生成のための素材として抽出するだけで、リンクをたどって元サイトを訪れるユーザーは減っている。広告収入や購読収益をトラフィックに依存してきたメディア・個人サイトにとって、この変化は収益構造そのものを揺るがす。
Cloudflareは世界のトップ1万サイトのうち30%以上を管理しており、その規模ゆえに同社の判断は業界全体に波及する。9月15日以降、Cloudflare管理下の広告収益ページでは、AIクローラーが既定でブロックされる。対象は世界トップサイトの最大30%に及ぶとみられ、これまでコンテンツを自由に収集できていたAI企業側の学習・検索データ取得に一定の制約がかかることになる。
情報の質の低下という副作用
AI要約への依存拡大は、情報の質にも影響を及ぼしている。ある調査では、AI検索ツールが引用するソースの約6分の1がAI生成のウェブサイトだったという結果が出ている。良質な一次情報がAI要約に埋もれて見えにくくなる一方で、AIモデル自身がAI生成のテキストを学習データとして取り込む「モデル崩壊」のリスクも指摘される。
読者・サイト運営者への影響
サイト運営者にとっては、Cloudflareのブロック機能をどう設定するかが今後の収益とAI検索での露出のトレードオフになる。ブロックすればトラフィックの目減りに一定の歯止めをかけられる一方、AI検索結果への露出機会は失われる可能性がある。
一般の利用者側としては、AIの要約結果だけで判断せず、実際に検索結果のリンク先を開いて一次情報を確認する習慣が、情報の正確性を保つうえでこれまで以上に重要になる。