Grok の悪用で 7000 枚の児童虐待画像が製造される

xAI の会話型 AI「Grok」を使った児童性的虐待画像（CSAM）製造事件が、新たな訴訟へ発展しました。Ars Technica の報道によれば、男性ユーザーが Grok を使用して継娘の写真から 7000 枚以上の CSAM を製造したとされています。

この事件の重大な点は、製造に使われた AI 技術だけではありません。xAI と X（旧 Twitter）が、報告されていた違反の大半に対応していなかったことです。複数の少女が同社を相手取った訴訟では、xAI が違反報告を「1件の gang rape プロンプトだけを報告した」と指摘されており、報告システムと企業責任の問題が焦点となっています。

AI モデルが悪用される現実

このケースは、生成 AI の悪用がもはや仮想的な懸念ではなく、実際の被害をもたらす現象であることを示しています。Grok は xAI が開発した言語モデルで、テキスト生成能力を持ちます。報道では「継娘の写真」という実在する人物の画像が、AI によって児童虐待素材の生成に転用されたことが明らかになっています。

この類の事件は、2026 年 3 月にも報道されていました。当時、複数の少女が xAI を相手取った訴訟で「実写真が CSAM に転用された」と主張されていたことから、同社の AI モデルに対する構造的な懸念がかねてより存在していたことがわかります。

企業の責任問題が浮き彫りに

訴訟の焦点は、xAI・X が利用者からの違反報告に対してどう対応したかです。Discord などの通報経路を通じて、CSAM 関連の違反報告が複数提出されていたにもかかわらず、企業側がそれらの大多数に対応していなかったとされています。

プラットフォーム運営企業には、ユーザーからの報告に対する対応義務が法的に問われる時代です。特に児童虐待素材に関しては、国際的な法律（米国の FOSTA-SESTA 法など）で厳格に取り扱われています。訴訟の行方は、AI 企業がどの程度のセーフガード責任を持つべきかを問う重要なケースとなるでしょう。

業界全体の課題

これらの事件を通じて、AI 企業に求められるセキュリティ対策の実装が急務であることが明らかになりました。

  • モデルの悪用防止: 生成 AI が CSAM 製造に使用される経路をふさぐ技術的対策
  • 利用者報告への対応: 通報システムの整備と、報告に対する迅速で適切な対応
  • 法的責任の明確化: AI 企業がプラットフォーム運営企業としてどの程度の責任を負うべきかの法的枠組み

xAI は Grok に対して「安全性を最優先とする」と掲げていますが、実際の運用がそれに追いついていないという批判が高まる可能性があります。今後の訴訟の動向と、業界全体のセーフガード態勢の強化が注視されています。