OpenAI が AI コーディング能力を測る業界標準ベンチマーク「SWE-Bench Pro」の調査結果を発表した。約30%のタスクに問題があることが判明し、ベンチマークを基準にしたモデル比較の信頼性が大きく揺らぐことになった。

発見された問題の規模

OpenAI の調査では、SWE-Bench Pro 730 件のタスクのうち約200 件（自動スクリーニング）が破損していることが判明した。人間による評価では、その割合がさらに高い34.1%（249 件）に上った。OpenAI は自社の「O1」モデルで検証したほか、複数の開発者を招いて手動チェックを実施。一貫して30%以上の破損率が示された。

同時に OpenAI は、これまでの SWE-Bench Pro への支持を取り下げ、ベンチマーク出題者に改善を促すための詳細なフィードバックを提供している。

破損の4つの分類

OpenAI が指摘した問題は、単なる「難しすぎる」ではなく、構造的な欠陥だ。

1. オーバースペック（過度に厳密） 正しい解決策でもテストに通らないケース。実務では機能するコードなのに、ベンチマーク上は「失敗」と判定される。

2. 曖昧な仕様 テスト要件が明示されず、隠された仕様でのみ合否が判定される。モデルが要件を推測する必要があり、フェアな評価にならない。

3. 不十分な検証 テスト自体が不完全で、実は機能しないコードが合格してしまう逆のケースもある。

4. 誤解を招く指示 タスク説明が間違っていたり、矛盾した指示が含まれている例。OpenAI が引用した例では、タスク説明は「1文字スペース」を求めているが、隠れたテストは「2文字スペース」を期待していた。

これらの問題は、モデルの実力を測るものではなく、テスト設計の欠陥そのものだ。

業界への影響：ランキング大激震

SWE-Bench Pro はコーディング AI の能力を測る「デファクト・スタンダード」だった。Artificial Analysis を含む複数のベンチマーク企業がこのテストに依拠し、モデルのランキングを発表していた。

OpenAI の発表を受け、Artificial Analysis はすでに SWE-Bench Pro を廃止し、代替ベンチマークへの移行を発表している。これに伴い、コーディング AI のランキングが大幅に組み替わる見込みだ。

企業や開発者がモデル選定時に参照していた「スコア」が、実は信頼できない測定値だったことになる。

開発者への警告

SWE-Bench Pro で高いスコアを得ていたモデルが、実務では思わしくない可能性が出てきた。逆に、ベンチマークスコアが低かったモデルの実装品質を再評価する価値も出ている。

プロダクトマネージャーやテックリードは、今後モデル選定時に：

  • 単一のベンチマーク結果に依存しない
  • 複数の測定基準を用いて検証する
  • 自社のコードで実際に試してから採用を判断する

といった慎重なアプローチが必須になるだろう。

ベンチマーク文化への問い

この発見は、AI 業界全体にとって重要な警告だ。企業や研究機関が自分たちのモデルを「ベンチマークでトップ」と宣伝する際、その根拠が本当に堅牢なのか、問い直す契機になる。

OpenAI 自身も、ベンチマーク至上主義に待ったをかける立場に回った。業界全体で「テスト品質の検証」「複数指標による評価」というアプローチへのシフトが加速する可能性が高い。

開発者にとっては、単一の数字を信じるのではなく、実装と実運用で検証する習慣がより重要になる時代へ移行するのだろう。