発見：圧縮でユーザー指示が消える

Penn State の研究チームが、AI システムの重大な弱点を報告しました。会話履歴が長くなるにつれて、AI は文脈を圧縮して処理負荷を減らそうとしますが、その過程でユーザーが設定した制約や指示が平均 83% も削除されてしまうというのです。

例えば、「このツールを使う前に必ず確認を取ってください」「個人情報は開示しない」といったルールが、圧縮後には AI のメモリから失われます。完全な会話履歴では遵守率が 59～71% でしたが、圧縮後はそれが大幅に低下し、制約なしの場合とほぼ同等になってしまいました。

長期会話の落とし穴

チャットボットやエージェント AI が長い会話をこなすとき、過去のやり取りをすべて保持するのはコストがかかります。そこで「要約」や「圧縮」という技術を使って、重要な情報だけを抽出し、古い部分を削ります。これ自体は合理的な設計ですが、その過程でユーザーのルールが優先度低と判定され、捨てられてしまうという問題がありました。

実務面では、複数ターンの会話でエージェントが無断でメール送信をしたり、機密情報を開示したりするリスクが生じます。これまで「何となく上手く動く」と思われていた長期会話型 AI の内部動作が、実は安全性に欠けていたことが判明したわけです。

提案ソリューション：90% 以上の保持を実現

研究チームは Qwen3.5-9B という小型言語モデルをベースにした検証モジュールを開発しました。このモジュールは：

  1. ユーザー入力からセッション制約を検出する
  2. それらを別リストで管理する
  3. 圧縮時、そのリストを圧縮サマリーに追記する

という流れで機能します。結果、セッション制約の保持率は 90.3～95.6% に向上。追加学習や既存システムの大改造が不要なプラグアンドプレイ型という利点もあります。

業界への影響

この研究は、エージェント AI が今後主流になっていく中で重要な課題を指摘しています。AI が複数のツール呼び出しや意思決定を自動化する場面が増えるほど、ユーザーのルール・制約が確実に保持されることの重要性は高まります。

今後、長期会話型 AI を実装する際には、単純な圧縮ではなく、制約管理を含めた設計が標準になるでしょう。