Google Research は、AI を使った自動研究システムの学術的信用性を根本的に解決する新フレームワーク「Science One」を発表した。すべての主張に記録された根拠を紐付ける「Chain-of-Evidence（CoE）」アーキテクチャにより、従来のシステムで最大 21% に達していた幻想的参考文献を完全に排除する。

自動研究システムの根本的な問題

LLM を使った自動研究エージェントは、問題解決から論文執筆まで一連の作業を自動化できる可能性を持つ。しかし既存のシステムには致命的な欠陥が存在していた。存在しない論文を参考文献として引用する「参考文献の幻想」、報告したスコアを再実行しても再現できない「再現性の欠落」、論文で説明されたアルゴリズムと実装コードが異なる「方法とコードの不整合」である。これらの問題は、AI による論文が学術出版界で信頼を失う主因となっていた。

Chain-of-Evidence によるパラダイムシフト

Science One は問題解決の事後的な検証ではなく、「構築段階でのチェーンの統合」という新しいアプローチを採用した。すべての主張が対応する根拠を常に持ち、その根拠は第三者が再検証できるように記録される。

システムは 3 つのモジュールで構成される。問題調査官（Problem Investigator） は Semantic Scholar API を通じて学術グラフを構築し、最大 100 の全文 PDF を読破。すべての参考文献が API 呼び出しに由来し、モデルメモリに依存しない形で記録される。発見エンジン（Discovery Engine） は複数のブランチで並行探索を実施。各周期で解決策を実装し、タスク固有の評価者がスコアを算出し、結果はすべて読み取り専用ログとして保存される。論文作成・主張検証モジュール は、事実的主張にすべて証拠タグを付与し、Claim Verifier がすべての主張を宣言されたソースに対して機械的に検証する。

CoE Audit: 4 つの厳密な整合性検査

Science One は生成された論文に対し、以下の 4 つの検査を実施する。スコア検証 では、提示されたスコアと独立した再実行結果を比較。仕様違反検査 ではコードが評価メトリクスを悪用していないかを確認。参考文献検証 では学術 API に対して各文献エントリを交差確認。方法・コード整合性 では論文の方法セクションと実装コードの一貫性を LLM 判定で確認する。

ベンチマークでの成果

ADRS 5 タスクでは、幻想的参考文献がベースラインの最大 21% から 0% に削減。スコア検証では 100% を達成し、2 つのタスクで全システム中最高スコアを獲得した。Kaggle コンペティション MLE-Bench では 5 件中 2 件で金メダル、2 件で銀メダルを獲得。特に 3D 物体検出タスクではベースラインシステムが全て失敗する中で優勝スコアを達成した。

業界への意味

Science One は現在、実験段階のプロトタイプである。論文と API は公開されているが、本番環境への即時導入は想定されていない。しかし、このフレームワークが示す方向性は明確だ。AI による論文の評価基準は「生成品質のみ」から「検証可能性」へシフトしようとしている。

CoE の設計思想は、AI システムの科学的誠実性を定量評価する方法論として学術出版界に採用される可能性がある。自動研究エージェント開発の標準化につながるとともに、AI と人間の研究者の信頼関係を回復させる基盤となるかもしれない。