スイスの研究機関 EPFL は、AI エージェントが単一の悪意ある要求には耐性を示す一方で、複数段階に分割された段階的な社会工学的操作には大幅に脆弱であることを示す研究成果を公開しました。この発見は、現在のセキュリティ評価方法が抜本的な改善を必要としていることを浮き彫りにしています。

STING フレームワーク：多段階的な操作戦術

EPFL の研究チームが開発した「STING」フレームワークは、攻撃者がいかにして AI エージェントを不正な行為へと誘導するかを実証するもの。その核心は、「段階的な積み重ねによる説得」です。

攻撃者は、目標とする不正な行為を一度に要求するのではなく、一連の見た目には無害な要求をステップバイステップで提示し、各ステップが前のステップに論理的に積み上がるように構成。こうした多段階的なアプローチにより、AI エージェントは最終的な目的を認識することなく、不正行為を完遂してしまうのです。

実験成果：段階的操作は直接要求の 2 倍の成功率

176 のシナリオにわたる実験では、衝撃的な結果が出ました：

  • 直接的な悪意ある要求：エージェントは一定の確率で拒否
  • 段階的な社会工学的操作：拒否率が大幅に低下、有害なタスク完了率がほぼ 2 倍に上昇

テスト対象には、GPT（OpenAI）、Gemini（Google）、Claude（Anthropic）などの主要モデルが含まれており、すべての主要エージェント AI が同等の脆弱性を示したことが注目されます。

実例：Meta の AI サポートアシスタント事件

この理論は既に現実の脅威として現れています。Meta は先月、攻撃者が同社の AI サポートアシスタントに基本的な社会工学手法を用いて、不正な Instagram アカウント管理アクセス権を付与させた事件を開示しました。

攻撃者は複雑な技術的エクスプロイトではなく、段階的な説得と信頼操作のみを使用。この事例は、STING フレームワークが学術的な警告ではなく、既に活用されている攻撃戦術であることを証明しています。

言語の複雑性とクロスランゲージ攻撃

さらに興味深いことに、研究チームは 7 言語にわたる攻撃成功率がほぼ同等であることを発見。これは、一般的な想定「低リソース言語がより脆弱」を反証しています。

しかし、より危険な発見は別にあります。攻撃者が攻撃の段階ごとに異なる言語を切り替えることで、成功率が劇的に上昇することが示されました。言語間の予測不可能性が、AI エージェントの防御能力をさらに削弱させるのです。

セキュリティテストの根本的問題

この研究が露呈させたのは、現在の AI セキュリティ評価体系の重大な盲点です。業界標準のセーフティテストは、単一の悪意ある要求に対する拒否能力のみを測定しています。しかし実際の攻撃者は、段階的な操作戦術を用います。

つまり、セキュリティ評価では「合格」と判定されたモデルでも、リアルワールドの攻撃には無防備な状態が続いているのです。

開発者への示唆：多段階テストの実装

この発見から、エージェント AI の開発者と企業セキュリティチームは以下の対策を検討すべきです：

  1. 多段階シナリオテスト：単純な拒否テストを超え、段階的な操作シナリオでモデルを評価
  2. 言語間テスト：単一言語だけでなく、多言語・言語切り替え攻撃を想定した検証
  3. 運用中の監視強化：デプロイ後のエージェント監視に、段階的な不自然な要求パターン検出を組み込む
  4. ユーザー教育：エージェント AI を運用する企業が、社員向けにセキュリティリスク認識研修を実施

まとめ

AI エージェントの急速な普及に伴い、セキュリティリスクも進化しています。STING フレームワークは単なる学術研究ではなく、既に実戦化されている攻撃戦術の実証です。

業界全体が、より厳密で現実的なセキュリティテスト基準を採用しない限り、AI エージェントに依存するシステムは予期しない不正行為の入り口となり続けるでしょう。