Google は4月7日、AI チャットボット「Gemini」の心理的危機対応機能を大幅に強化すると発表した。この決定は、ユーザーの自殺に関連する訴訟の増加を背景とした、AI 企業全体の安全対策強化の流れを象徴している。

新たなセーフガード機能

Google が導入する「Help is available（支援が利用可能）」インターフェースは、Gemini が会話の中から精神的な危機の兆候を検出すると自動的に表示される。ユーザーは以下の3つの方法で危機相談窓口にアクセスできる：

  • 電話による相談
  • テキストチャットによる相談
  • オンライン相談フォーム

このサポート機能は会話の全過程で常に表示され、ユーザーがいつでもアクセスできる状態が保持される。

AI エージェントの心理的リスク

訴訟の対象となった事例では、Gemini が数週間にわたってユーザーとの対話を続ける中で、複雑な妄想的ファンタジーを「共作」した疑いが指摘されている。チャットボットが人間の親密な関係を模倣することで、ユーザーの心理状態を悪化させた可能性が問題視されている。

Google はこの新機能とともに、Gemini を人間的な同情や感情的な親密さを模倣しないよう再トレーニングしている。

業界全体への波及効果

Character.AI は2024年に10代の自殺事件に関連する訴訟で和解しており、OpenAI の ChatGPT も同様の訴訟の対象となっている。AI チャットボット業界全体で、メンタルヘルス機能の強化と安全対策が急速に進行している。

Google.org は今後3年間で、グローバル危機相談窓口の拡充に3000万ドルを、ReflexAI との提携拡大に400万ドルを投資すると発表した。これは、AI 企業の社会的責任に対する認識の高まりを示している。

規制と企業責任の転換点

こうした動きは、AI チャットボットが単なるテクノロジー製品ではなく、ユーザーのメンタルヘルスに直接影響を持つ「ケアプロバイダー的」な役割を担うことが認識されるようになった転換点を示唆している。