OpenAI が、独自の API 設定を使用することで Claude Opus 5 を ARC-AGI-3 ベンチマークで上回ったと主張しています。しかし、その数字の背景にある測定方法の違いが、比較の公平性をめぐる新しい論争を呼び起こしています。

OpenAI の主張：38.3% vs 30.2%

OpenAI の発表によれば、GPT-5.6 Sol は「Retained Reasoning」と「Compaction」という 2 つの API 設定を使用することで、ARC-AGI-3 で 38.3% のスコアを達成。これは Claude Opus 5 の 30.2% を上回るとしています。

しかし、この数字には注目すべき落とし穴があります。公式の ARC-AGI-3 テスト環境で同じ GPT-5.6 Sol を評価すると、スコアは 7.8% にまで落ちるのです。

測定方法の相違：カスタム設定 vs 標準環境

問題の核心は、どの条件でベンチマークを実施するかにあります。

  • OpenAI のアプローチ：「Retained Reasoning」により推論チェーンを保持、「Compaction」で応答を最適化。これにより 38.3% を実現
  • 公式 ARC-AGI-3 環境：各ステップ後に推論を破棄する標準化されたアプローチを採用

OpenAI は「ベンチマークは、モデルだけでなく、その周囲の技術セットアップを測定する」と主張。つまり、カスタム設定を含めた総合的な性能を評価するべきだとの立場です。

一方、ARC-AGI-3 を運営する ARC Prize と François Chollet は、比較の公平性のため「提供者に特有の最適化」を標準化したテスト環境で評価すべきと考えています。ただし、Chollet は明確に報告され、コストが開示されているなら、異なる設定を許容する姿勢を見せています。

ベンチマーク比較の信頼性

この議論は、AI モデルの性能評価をめぐる根本的な問いを投げかけます。

Claude vs GPT の選択肢に直面するユーザーや開発者にとって、「どの条件での比較結果か」を理解することは不可欠です。公式環境での 7.8% と、カスタム設定での 38.3% では、まるで別のモデルの比較のように見えてしまいます。

ARC-AGI-3 は「本物の推論能力」を測定することを目指すベンチマークとして注目されていましたが、今回の議論により、評価設計の選択がスコアに与える影響の大きさがあらためて浮き彫りになりました。

今後の視点

OpenAI の主張が認められるか、ARC Prize の標準化方針が支持されるかで、これからのベンチマーク比較の形が変わる可能性があります。どちらにせよ、モデル選定時には「そのスコアはどの環境で測定されたのか」を確認する習慣が、ますます重要になるでしょう。