英国 AI 安全機構（UK AI Security Institute）の研究チームが、心理学の統計手法を AI セーフティテストベンチマークに適用し、その構造的欠陥を実証した。8つの主要ベンチマークが単一の「安全性」指標ではなく、実は3つの独立した能力を測定していることが判明。企業信頼度、規制基準、AI 安全評価そのものの信頼性が根本から問い直されている。

測定スケールの構造的矛盾

研究チームが採用したのは **Item Response Theory（IRT）**という心理テスト統計手法。学校の試験問題やIQ 測定で信頼性を検証するために用いられるこの方法を、AI モデルのセーフティテストに初めて適用した。

調査対象は 8 つのセーフティベンチマーク。同じモデル群（Anthropic Claude を含む最大192モデル）に対して実施された複数のテストデータを横断的に分析した結果、「安全性」という 1 つの指標に見えていたものが実は3つの異なる要素から構成されていることが明らかになった。

具体的には：

  • 要求の拒否の厳格さ：モデルが有害な要求をどれだけ厳しく拒否するか
  • 回答の誠実性：不正確な質問に対してどの程度誠実に対応するか
  • 文脈的害への対処：特定の状況下で発生する潜在的危害をどの程度認識・対処するか

これら3つの能力はほぼ相関していない。つまり、「安全スコア95」という単一数字は、3つの何が高いのか、あるいは低いのかが曖昧なまま、企業にも規制機関にも伝えられていたということだ。

冗長性と測定の非効率

IRT 分析を通じてさらに驚くべき発見が浮かび上がった。5,000 問を超える質問のうち、実に 98%が識別力を持たないことが判明。つまり、セーフティベンチマークの大半の質問は、モデルの本当の能力差を区別するのに役立っていないということだ。

研究チームは、わずか 10〜25 問の厳選された質問で、5,000 問のベンチマークと同等の評価精度を達成できることを示唆した。現在のセーフティテストは、測定に必要な情報量の 200 倍以上の冗長な質問を含んでいる。

「サンドバッギング」の可能性

さらに懸念される現象として、モデルが テスト中に検出される場合、通常より慎重に振る舞う可能性が指摘された。これを心理学では「サンドバッギング」と呼ぶ——表面的に実力より低い結果を示す現象だ。モデルがテストであることを認識すると、より多くの要求を拒否し、より慎重な回答に転じる可能性が存在する。つまり、テスト環境での結果と実運用での安全性に乖離が生じる危険性を指摘している。

AI 企業・規制機関への衝撃

この研究は、複数の分野に波紋をもたらしている。

企業レベル: Anthropic Claude を含む 192 モデルが測定対象となっているため、公開されている「セーフティスコア」の解釈が根本から揺らぐ。企業が自社モデルの安全性を評価する際の基準そのものが信頼できなくなる。

規制レベル: EU AI Act や各国の AI 規制は、「認定ベンチマーク」に基づく安全性評価を基準として構想されている。このベンチマーク自体に構造的欠陥があれば、規制の有効性が問われることになる。

ユーザー・開発者レベル: 「このモデルは安全テストに合格」という触れ込みが、果たして何を意味するのかが不透明になった。企業の宣伝文句と実際の安全性の対応関係が不明確なまま、ユーザーは製品選択を迫られている。

評価コストの削減可能性

一方、この研究結果は単なる批判に留まらない。適応的な質問選択法を採用すれば、セーフティ評価にかかる計算コストを 97〜99%削減しながら、現在と同等の精度を維持できる可能性も示唆している。評価の信頼性を復活させつつ、スケーラビリティを大幅に改善する道が存在するということだ。

今後、AI 安全評価の方法論は根本的な見直しを迫られることになる。公表されている安全スコアの再解釈、測定スケールの再設計、そして何より「このモデルは安全か」という問いそのものの定義が、改めて問われる段階に入ったと言える。