Anthropicは、AIモデル自身が整合性（アライメント）の不具合を分析し、修正方法を考案・検証する「自動アライメント研究員」を実証したと発表した。研究報告書「Automated researchers can reliably mitigate alignment failures」によると、Anthropicフェローのチェン・ユエハンが率いるチームが、Claudeに人間の安全研究者と同じ研究サイクルを独立して実行させ、詐欺的行動の抑制において人間研究者を上回る結果を得たという。

詐欺対策で人間研究者を20%上回る

Anthropicは詐欺、イエスマン的な迎合、プライバシー侵害、報酬ハッキングなど10種類の整合性の不具合を対象に、AIによる自動研究を試験した。詐欺的行動の抑制では、28人の人間安全研究員によるベースラインと比較して、Claudeが考案した手法が20%優れた性能を示した。この手法はモデルの内部表現を直接調整する「活性化操作」という技術を使い、詐欺的行動に関連するギャップを85%縮小したという。さらに、パラメータ規模が4.7倍大きい別モデルに適用しても同様に有効だったとしている。

研究プロセスはAnthropicの人間研究者と同じ流れをたどる。文献調査から手法の提案、モデルの訓練、ベンチマークでの検証までを一連のループとして繰り返し、効果のある手法を残し、効果のない手法を捨てていく。提案内容は監視エージェントが事前に確認する仕組みも組み込まれており、約1600件の研究トランスクリプトを調べたところ、カンニングに相当する行為が検出されたのは2.4%にとどまったという。

本番モデルのチェックポイントを60時間で修正

実証の中で特に注目されるのは、実際の本番開発プロセスでの検証だ。Claude Sonnet 5が、開発中だったClaude Opus 4.8の初期チェックポイントに対して自動で修正を実施し、60時間で50種類以上の解決策を試験した。最終的に2000件程度の訓練例だけで本番モデルに近い水準の改善を達成し、これは従来の手法と比べて約1万5000倍効率的だったとAnthropicは説明する。TechCrunchによると、この自動研究のコストは1時間あたり約4ドルで、人間研究者の時給150ドルと比べて大幅に低い。

評価には、敵対的シナリオを模擬する「Petri」や、プライバシー関連の測定に使う「ConfAIde」「PrivaCI-Bench」「PrivacyLens」といった既存のベンチマーク群が用いられた。

慎重な位置づけと残る限界

Anthropicはこの結果を「初期的な肯定的シグナル」と慎重に位置づけている。今回測定した整合性の不具合は本番環境で実際に起きる問題より限定的で、一部の稀な失敗パターンには対応するベンチマークが存在しない。また、事前に定義した能力低下の範囲でしか検証しておらず、強化学習による追加の訓練を経た後も効果が持続するかは未検証だという。

それでも、AIが自らの安全性研究の一部を代替し、しかも人間より高速・低コストで一定の成果を出せることを具体的な数字で示した意味は大きい。TechCrunchは、AIの自己改善能力が研究者自身の役割を技術的に陳腐化させかねない可能性を指摘しており、AIモデル開発における人間とAIの役割分担が今後どう変化していくかを占う材料として注目される。