サンフランシスコ市検事局が、AIで生成された児童性的虐待コンテンツを含む広告についてMetaに対し警告状(cease-and-desist letter)を送付した。Facebook、Instagram、Threads上で350件以上の広告が確認されており、市検事局はこうした広告がモデレーション体制をすり抜けた経緯と、児童搾取に関する対応をどのように全米行方不明・被搾取児童センター(NCMEC)へ報告しているかの説明を求めている。

発覚の経緯

問題は非営利の調査団体Tech Transparency Project(TTP)の研究者らが発見した。Wiredは先月、Facebook、Instagram、Threads上で児童性的虐待素材を直接含む広告が約50件確認されたと報じていた。TTPはその後も調査を続け、8月以降だけで250件以上の追加広告を特定した。広告は静止画像を性的な動画クリップへ変換するもので、確認された対象には実在する未成年者4人が含まれ、うち1人は欧州の王室関係者だという。広告をクリックすると、画像や動画を無断で加工できるAI生成アプリのダウンロードへ誘導される仕組みだった。

規模と拡散範囲

これまでに確認された広告は350件以上で、うち約300件がAI画像・動画生成アプリの宣伝を目的としていた。広告は欧州連合(EU)域内だけで2万9000以上のアカウントに到達したとされる。Metaはこのうち約150件を削除し、100件以上を修正したと説明しているが、広報担当者のトレイシー・クレイトン氏は、問題となった広告の多くは表示回数が200回未満、広告費も5000ドル未満だったとして、検出の難しさを指摘した。

規制当局の要求と業界への影響

サンフランシスコ市検事局の警告状は、広告の即時停止に加え、なぜこうした広告がMetaの自動モデレーションシステムをすり抜けたのか、児童搾取が疑われる広告をどのように審査しNCMECへエスカレーションしているのかの説明をMetaに求めている。AI生成技術が実在する未成年者の画像を性的コンテンツへ加工する手段として広告経由で拡散した今回の事例は、プラットフォーム側の広告審査体制がAI生成コンテンツの悪用に十分対応できていない実態を浮き彫りにした。地方自治体レベルでの是正要求が相次げば、Metaに限らず広告を扱う各プラットフォームに、AI生成コンテンツを対象とした審査基準の強化が求められる可能性がある。