Claude CodeやCodexといったAIコーディングエージェントは、自分がタスクにどれだけの時間をかけているか正確に把握できていないことが、新しい研究で明らかになった。ProgramBenchの200タスクと18種類のベンチマークから集めた235タスクで検証したところ、Claude Codeは実際の所要時間の約3倍、Codexは最大10倍もの時間を見積もっていた。

実行時間の予測はどの程度ずれるか

研究チームは、エージェントに作業前の所要時間予測、作業後の振り返り評価という2つのフェーズでテストを実施した。結果、両モデルとも短いタスクほど誤差が大きく、タスクが数時間規模になるまで予測が実態に近づかないことがわかった。

具体的には、Claude Codeの平均実行時間は約85分、Codexは約17.5分だった。ハーネス（実行環境）の違いも大きく、Claude CodeはCodexよりも平均で2.5倍多くのステップを踏んでからタスクを完了させる傾向がある。一方でどちらのモデルも、フロンティアAIエージェントよりわずかに速く、人間の熟練エンジニアの4倍速いと自己認識していた。これは、学習データに含まれる人間の開発者の作業時間感覚を引きずっているためとみられる。

自己評価も実力とかけ離れる

時間認識の甘さは、自己採点の精度にも表れている。Claude Opus 4.8は、実際のスコアより平均20ポイントも高く自己評価する傾向があった。実際の成功率が7〜14.5%程度のタスクでも、モデル自身は約70%の成功率だったと申告していたケースもある。

興味深いのは、タイムスタンプなど経過時間を確認できるツールにアクセスできる場合、この予測誤差がほぼ解消される点だ。裏を返せば、現在のエージェントは外部の時計情報なしには時間の経過を体感できていないということになる。

長時間タスクの自動化に投げかける課題

この結果は、AIエージェントに長時間・自律的な作業を任せる際の監督体制に直結する問題だ。エージェントが自分の作業の遅れや行き詰まりを正確に自己申告できなければ、人間側が進捗を過信したり、逆に不要な介入を挟んだりするリスクが生じる。

研究チームは、時間制御機能の改善が長時間の自律タスク管理には不可欠だと指摘している。エージェントに経過時間を明示的に与える仕組みや、進捗のチェックポイントを外部から設定する運用上の工夫が、当面の実務的な対応策になりそうだ。