AIが「95%」でも現場は首をかしげた理由

AIの精度が95%――聞くだけなら心強い数字です。ですが現場で起きたのは、単純に喜べない出来事でした。SAPが社内で実施した検証は、AIの実力と人の受け止め方のズレを露わにしました。

検証の概要：Joule for Consultantsの一斉チェック

Joule for Consultantsは、SAPが提供するコンサル向けAI支援ツールです。ビジネス要件とは、プロジェクトで求められる機能や条件を指します。

SAPはこのツールが作成した約1,000件超の要件回答を、社内の5チームで検証しました。通常なら数週間かかる規模の作業です。

4チームは若手インターンが担当し、そこで出た結論は「全体の正確性は約95%」。期待できる結果に見えました。

ところが5番目のチームには、事前に「これらはAIの解答です」と伝えてありました。するとそのチームは、ほぼすべての回答を否定したのです。

なぜ否定されたのか：認知バイアスの影響

ここで明らかになったのは、同じ結果でも"誰が作ったか"で評価が変わるという単純な事実です。人はAI製の成果に対して厳しく見る傾向があります。言い換えれば、レンズが違えば景色も違って見えるのです。

その後、問ごとに詳細検証を進めると、AIは高精度であり、初期に見落とされていた細かな洞察まで提示していました。最終的に再評価した結果は、やはり約95%の正確性に戻りました。

現場への示唆：伝え方と統合が成功の鍵

この事例が教えてくれるのは、AIそのものの能力だけではなく、運用設計と人の扱い方が重要だという点です。高性能な望遠鏡を使っても、見方を知らない人には何も見えないことがあります。AIも同じで、ツールの長所を引き出すには周囲の設計が必要です。

SAP AmericaのGuillermo B. Vazquez Mendez氏は、上級コンサルタントへの伝え方とワークフローへの統合の大切さを強調しています。具体的には、AIの出力を鵜呑みにせず、検証ポイントを組み込むプロセス設計や、出力を評価するガイドライン作成が有効です。

実務でできること

  • AIの出力を最初から"最終判断"としない。人によるレビューを組み込む。
  • 出力がAI由来と分かると評価が変わる点を踏まえ、透明性と説明責任のルールを整える。
  • 若手とベテランの目を組み合わせて、見落としを減らすワークフローを作る。

最後に伝えたいのは、AIの数値を盲信することなく、ツールと人間をどう組み合わせるかを設計することが成功の近道だということです。AIは強力な助手ですが、使いこなすかどうかは人次第。皆さんの現場でも、小さな実験と丁寧な説明を重ねてみてください。