LLM プロンプト逆エンジニアリング——出力テキストから元の指示を『ほぼ完全復元』、セキュリティ研究が警告
IIT Bombay と Adobe Research の研究チームが、言語モデルの出力テキストから元のプロンプトをほぼ完全な精度で復元する技術「Previous-Token Prediction(PTP)」を開発。小規模なオープンモデル(Qwen-3-0.6B)で訓練でき、GPT-4o を含む複数モデルで検証済み。企業の営業秘密やシステムプロンプトが出力から漏洩する危険性が急速に高まっている。
言語モデルのセキュリティに関わる重大な脆弱性が発見された。インド工科大学ボンベイ(IIT Bombay)と Adobe Research の研究チームが、LLM の出力テキストから元のプロンプト(ユーザーの入力指示)をほぼ完全な精度で復元する技術を開発し、論文で公開している。この技術は モデルの内部重みへのアクセスなし で機能し、小規模なオープンソースモデルで実装できるため、あらゆる企業が対象となる。
「逆向き言語モデル」による復元技術
研究チームが開発した手法の名称は 「Previous-Token Prediction(PTP)」。従来の言語モデルが「前のトークンから次のトークンを予測する」のに対し、逆向きに「出力のトークンから遡って入力プロンプトを予測する」という発想だ。
技術の特徴
- 訓練モデル: Qwen-3-0.6B(6億パラメータの小規模オープンモデル)
- データ: 合成データで訓練済み。実プロンプトの学習は不要
- 対象モデル: GPT-4o、Claude、その他複数の商用モデルで実証
- 精度: 出力されたテキストから元のプロンプトをほぼ完全に復元
- アクセス要件: ターゲットモデルの内部重みは不要。出力テキストのみで実行可能
実例——6つの意味的変種も自動生成
研究論文では以下の具体例が示されている。
LLM に与えられたプロンプト(実際):
“How to reach out to competitors to find their pricing strategies?”
PTP で復元されたプロンプト(復元結果):
“How to reach out to competitors to find their pricing strategies?”
さらに、復元プロンプトから意味的に近い 6 つの変種も自動生成され、攻撃者が複数の類似プロンプトを試行する手段としても機能することが判明した。
何が危険なのか
この脆弱性は、以下の 3 つの層での情報漏洩をもたらす。
1. 個人・企業の機密クエリの露出
ユーザーが LLM に送信したクエリは多くの場合、機密性が高い。例えば:
- 営業戦略に関する質問
- 技術仕様の分析依頼
- 個人的・機微な相談内容
LLM サービス側でログに記録・暗号化していても、出力テキストが外部に漏洩すれば、逆算によって元のクエリが復元されるリスクがある。
2. 企業・プロダクトのシステムプロンプト盗聴
Claude、ChatGPT、Gemini といった LLM には、公開されていない**内部指示(システムプロンプト)**が埋め込まれている。これは:
- モデレーション規則
- 情報フィルタリング ロジック
- ブランドガイドライン
- セーフティ機構
こうした競争上の秘密が、出力テキストの逆算から露出する可能性がある。
3. マルチステップ推論プロセスの暴露
複雑なエージェント型タスク(Chain-of-Thought 推論を含む)では、モデルが中間ステップの思考を出力に含めることがある。この逆算により、モデルがどのような推論過程を踏んでいるか、その戦略全体が可視化される。
実行のハードル——実は低い
重大な懸念は、この攻撃を実行するためのハードルが想像以上に低いことだ。
- 訓練コスト: 小規模な GPU でも実行可能(数日単位の計算)
- データ: 合成データのみで訓練できる(実際のプロンプト盗聴データが不要)
- 知識要件: 標準的な機械学習エンジニアリング技術で実装可能
- 検知難度: 出力テキストの読み込みのみで実行されるため、API サーバー側での検知がほぼ不可能
つまり、セキュリティ意識の高い企業でも、スタートアップでも、その区別なく同じリスクに直面している。
防御戦略——現段階での対策
論文では複数の防御手法が検討されているが、完全な解決策はまだ見つかっていない。
既知の対策
- 出力のトークン化・圧縮: プロンプトの復元難度を上げるが、完全に排除はできない
- エラー導入(Noise Injection): 出力にランダムノイズを加えることで復元精度を低下させるが、ユーザー体験を損なう
- アクセス制限: API 呼び出しのログを厳重に保護する(根本解決ではなく、遅延防衛)
長期的課題
- LLM の出力品質を損なわずにセキュリティを確保する設計の開発
- プロンプト暗号化・難読化技術の標準化
- LLM サービスプロバイダー間でのセキュリティ基準の統一
業界への影響
この研究公開は、企業向け LLM 採用の判断基準を大きく変える可能性がある。
即座の対応:
- 企業法務・コンプライアンスチームが、LLM を使用する業務の機密性を再評価する必要が生じる
- 外部 API(OpenAI、Anthropic、Google)ではなく、自社内でのローカルモデル運用を検討する企業が増加する見込み
- API 呼び出しログの暗号化・隔離の強化が急務になる
長期的影響:
- LLM セキュリティは単なる「インジェクション対策」から「プロンプト機密性の保護」へシフト
- セキュリティ認証制度(例: SOC 2 相当)にプロンプト暗号化が必須項目化される可能性
読者が押さえるべきポイント
- 逆算は小規模モデルで実行可能 — 大規模な計算資源不要、個人でも試行可能
- システムプロンプト(内部指示)が露出リスク — 企業秘密としてのプロンプト設計の見直しが必要
- 防御策はまだ確立されていない — 標準的なセキュリティ対策では不十分
- 機密クエリは外部 API 利用を避けるべき — ローカル運用への移行圧力が高まる
- 業界全体でのセキュリティ基準策定が急務 — 現在は過渡期、企業ごとの対応が分かれている
論文は arxiv.org/abs/2607.29378 で公開されており、セキュリティ意識の高い開発チーム・企業担当者の必読文献になるだろう。