Google DeepMindが、世界初とする「二重盲検（ダブルブラインド）」方式のAIモデル評価を試行開始したと発表した。暗号化技術を使い、評価対象のモデルの重みと、評価に使うテスト問題の両方を互いに非公開のまま照合する仕組みで、ベンチマーク不正（モデルが事前にテスト問題を学習してしまう問題）を技術的に防ぐ狙いがある。

なぜ「二重盲検」が必要か

AIモデルの性能評価では、モデルが事前にテスト問題を目にしてしまう「ベンチマーク汚染」が長年の課題となっている。DeepMindは「生徒が試験前に問題を盗み見てしまえば、たとえ満点を取っても意味がない」と例え、モデルが評価内容を事前に知っていれば、政策立案者・研究者・企業がベンチマークの結果を額面通りに信頼できなくなると指摘する。

従来の外部評価には、評価者がテスト問題をモデル提供企業に渡す（問題が事前に漏れるリスク）か、モデル提供企業が重みを評価者に渡す（知的財産が流出するリスク）かという二者択一の妥協があった。ゼロログ方針や契約上の秘密保持だけでは、この構造的な問題を根本的には解決できていなかった。

Confidential Computingで双方のデータを秘匿

新方式は、Google Cloudの「Confidential Computing」内にある「Confidential Space」という機能を活用する。評価者側はテスト対象であるGeminiモデルの重みを見ることができず、Google側も評価者が用意したテスト問題を見ることができない。双方の情報を暗号学的に保護したまま、モデルを実際にテストして結果だけを照合できる仕組みだ。

今回のパイロットでは、シンガポールAI Safety Institute、OpenMined、AVERI、MLCommonsという4つの外部組織と提携し、比較的軽量な「Gemini Flash Lite」モデルを対象に、機密性の高いベンチマークでの試験運用を実施している。DeepMindは手法や結果の詳細を技術報告書として別途公開する予定だとしている。

政府・サイバーセキュリティ評価への波及を見込む

DeepMindは、モデルの性能が向上するほど、テスト問題への「事前アクセス」がスコアを不当に押し上げるリスクが大きくなると説明する。特に、サイバーセキュリティ関連の能力評価や政府機関による機密性の高い評価では、評価内容そのものを外部に漏らせない事情があり、二重盲検方式はこうした領域で独立機関が安心してモデルを検証できる基盤になるとみている。

今回はGoogle自身の取り組みだが、二重盲検評価の枠組みが業界標準として広がれば、他のAI企業のベンチマーク結果に対しても「モデルが問題を知らなかった」ことを技術的に証明できるようになる可能性がある。AIモデルの性能主張が乱立する中で、評価結果そのものの信頼性を担保する動きとして注目される。