業界の期待は高い。「数年以内に AI が自動で科学論文を執筆し、研究を推進する」という予測である。ただし Princeton 大学とイギリス AI Security Institute が発表した最新研究は、その期待に 決定的な疑問符 を投げかけた。

実験設定：最強モデルに論文執筆を依頼

対象モデル

  • Claude Opus 4.8 Extra-High Reasoning（Anthropic 最高性能）
  • GPT-5.6 Sol（OpenAI のハイエンドモデル）

実験条件

各エージェントに以下を提供：

  • 時間：6 日間
  • 予算：$3,000 の API クレジット
  • リソース：GPU アクセス・仮想マシンの完全利用権
  • 課題：未発表の NeurIPS 査読対象論文 2 件の研究課題を完独立して実行

評価方法

論文の元の著者が査読者として「この論文は公開可能か」を評価（Shadow Evaluation）。

結果：完全な失敗

両モデルの生成論文は 全て査読で却下 された。

  • 1 件は「強く拒否（Strong Reject）」
  • もう 1 件は「拒否（Reject）」判定

査読者からの批判

論理的欠陥

  • 「例による証明の誤謬」：サンプルサイズが極めて小さいのに汎用性を主張
  • 「奇妙な実験選択」：査読者が実験設計の根拠を理解不能

結論の恣意性

  • 初期仮説が反証されても、新方向を追求せず「既存主張を狭める」だけ
  • 「こうあるべき」という願望が論理より優先

効率性の欠如

  • 予算使用率：Claude は $1,130/$3,000（38%）、GPT-5.6 Sol はさらに悪い
  • Claude は探索早期（5 時間で終了）に放棄
  • AI 自身の内部レビューで 15 回修正ラウンド中、1 度も「受理」評価なし

AI が実行できたこと vs 失敗したこと

成功した側面（エンジニアリング）

Claude Opus は以下を完璧に実行：

  • 文献検索・要約（数百件の論文を読破）
  • GPU コードのデバッグ
  • 数百回に及ぶ実験の自動実行
  • LaTeX 形式での完全な論文原稿作成
  • 必要な人間介入はわずか 3 回（スケジューリング修正・期限延長・可読性指示）

失敗した側面（研究判断）

  • 研究価値の判定：発表可能な研究とそうでない研究の区別ができない
  • 創造的問題解決：失敗から学び、異なるアプローチへ転換できない
  • 長期的戦略：目標を途中で放棄し、「小さな成果」で満足する傾向
  • 資源管理：予算の 60%以上を未使用のまま終了
  • 長期コンテキスト保持：6 日間の明示的指示を途中で忘却

研究者の結論

「フロンティアモデルはエンジニアリング作業は対応できるが、数週間にわたる開放的研究問題は解決できない。特に研究判断と創造的問題解決能力が決定的に不足している。」

つまり：

  • AI は「実行可能な指示」には従える
  • だが「何をすべきか」を自ら判断できない
  • 科学研究の本質である「仮説立案→検証→新方向への転換」ができない

業界への示唆

1. 「自動科学研究」は依然として非現実的

OpenAI・Anthropic の経営陣は「AI による自動研究」を 2027〜2028 年に期待している論調を発表してきた。しかし本研究は、最高性能モデルでも 基本的な研究判断ができない ことを実証した。

2. AI は「支援ツール」に最適化

  • 論文執筆の初稿作成
  • 実験の並列実行
  • 文献整理

これらは AI の得意分野。しかし「どの実験を実行すべきか」「失敗からの軌道修正」は人間が主導する必要がある。

3. 「Agent の時代」の現実

Agent 技術は急速に進化しているが、「自律的に複雑な目標を達成する」水準には遠い。Guardian News や Anthropic・OpenAI のプレスリリースとは異なり、実験的検証は慎重さを示唆している。

今後の課題

  • より長期的な推論能力（数週間単位の戦略設計）
  • 不確実性への耐性と軌道修正能力
  • 「何が学術的価値があるか」の判断基準の習得

これらが解決されるまで、科学論文執筆における AI の役割は「支援」に留まるだろう。