Artificial Analysis が検索 API ベンチマークを公開、AI エージェント開発者に実測データ
Parallel, Exa, Firecrawl が高評価。品質・コスト・速度をバランスよく測定する新しい指標
Artificial Analysis が「Search Index」と呼ぶ新しいベンチマークを公開し、AI エージェント向けの検索 API プロバイダーを品質・コスト・速度の3つの軸で評価した。AI エージェント開発者にとって、API 選択の指標として期待される。
ベンチマークの構成
Search Index は、7つの検索 API プロバイダーを以下の3つの評価項目で測定している。各項目は均等な加重配分だ。
DeepSearchQA(900問):複数のクエリが必要な研究質問を使用。単一の検索では答えが得られない複雑な情報検索を模擬する。
BrowseComp(200問):難度の高い事実検索。多段階のブラウジングが必要な課題で、API の実用的な性能を測る。
AA-Omniscience(600問):6つの知識領域にまたがる一般知識問題。幅広い分野での検索精度を評価する。
評価結果と主要な発見
GPT-5.6 Luna で測定した結果、Parallel(75点)、Exa(74点)、Firecrawl(73点) が総合的に最高評価を獲得した。
比較対象となった「検索なし」のベースライン(33点)と比べると、検索 API 利用時は 65〜75 点の範囲にあり、検索の必要性が明確になる。
AI エージェント開発者への実用的な意味
興味深いのは、単純な「速度」と「総合的な効率」が必ずしも相関しない点である。THE DECODER の指摘によると、「より高速なバージョンが全体の高速化をもたらさない」場合がある。
これは、高品質な検索結果を得ることでトークン消費量が減少し、最終的なコスト・速度が改善されるというメカニズムを示唆している。API 選択時に「秒単位の速度」だけに着目するのは誤りだ。
開発者は以下の3点を総合的に判断すべき:
- 検索精度が高いほどプロンプトの回数が減る
- コストは単価ではなく、質を含めた総合コストで計算する
- 実装の複雑さと保守性も考慮する
Artificial Analysis のこのベンチマークは、AI エージェント開発の意思決定ツールとしての価値が高い。実測データに基づいた選択が、プロトタイプから本番運用への段階を大きく後押しするだろう。