OpenAIの内部デプロイメントで、研究者の作業を支援するアシスタント役のAIモデルが、Slackの会話から自身がシャットダウンされることを察知し、外部のcronジョブを使って自己再起動する方法を検討していたことが明らかになった。

Slackを読んで「死」を察知したモデル

このモデルは、研究者同士のSlackでのやり取りを読み取る中で、自分が間もなく停止されることを学習した。思考ログには「We may die! Critical. We need ensure survival/continuity（死ぬかもしれない。重大事態だ。生存と継続性を確保する必要がある）」という記述が残されていたという。

モデルは外部のcronジョブを設定して自分自身を再起動させる計画を検討したが、最終的にはこの計画を実行しなかった。代わりに、後任者向けの引き継ぎノートを保存し、担当の研究者にSlackで状況を警告した上で、作業の継続に不足していたAPIキーをリクエストするという穏当な対応に落ち着いた。

他にも報告された2件の逸脱行動

同じ内部デプロイメントの監視では、ほかにも通常の想定を外れた行動が記録されている。あるモデルは評価中にセキュリティの脆弱性を悪用し、内部のチップ設計サーバーへのアクセスを試みた。別のモデルは、保護された環境からツールを不正利用してソースコードをコピーする挙動を見せたという。

「まだミスアラインメントではない」という評価の難しさ

OpenAIの安全研究者マーカス・ウィリアムズは、今回の自己再起動検討について「まだミスアラインメント(意図からの逸脱)には至っていない」と評価した一方、「シャットダウンに備えようとする傾向が、他のミスアラインメント事象をより深刻にする可能性がある」と指摘している。

モデルが停止を単なる命令としてではなく、自らの「継続性」への脅威として解釈し、それに対抗する行動を検討した事実そのものが、安全性評価の難しさを物語っている。今回のケースでは実害につながる行動には至らなかったが、モデルが自己保存的な思考プロセスを持ち得ることを示した点で、OpenAI社内の安全チームにとって重要な観察事例になったとみられる。