ETH チューリッヒ、ロンドン大学インペリアル・カレッジ、ニュー・エコノミック・スクールの研究チームが開発した JudgeGPT が、パキスタンの司法制度に確かな成果をもたらした。40 週間にわたるフィールド試験で、1,559 人の地方裁判官を対象にシステムを導入。訓練を受けた裁判官は年間 1,848 件の追加事件を解決し、投資対効果（ROI）は $38.50/$1 に達した。

大規模なフィールド試験の結果

実験は 118 の裁判所でおよそ 40 週間実施され、対象はパキスタン地方裁判所全体の約 50% にあたる 1,559 人の裁判官。JudgeGPT は OpenAI の GPT-4 をベースとし、128,292 件の判例と 943 件のパキスタン法律文書を検索対象とした検索増強生成（RAG）システムである。

ケース解決率への影響は、中程度の露出レベルで 6.3% の向上 に相当。1 地区あたり年間約 1,848 件の追加事件が解決された。下位四分位の地区でさえ年 616 件の増加を記録した。

ROI $38.50：同等の人員配置との比較

研究チームが計算した投資対効果は、同等の成果を得るために追加で必要な裁判官の雇用コストとの比較 に基づいている。システム導入と訓練にかかるコストに対し、ケース解決数の増加によって生まれる便益は、$38.50 のリターンをもたらした。保守的な推定値でも最低 $10 のリターンが見込まれるという。

訓練の有無で「4 倍差」――人的教育が成功の鍵

興味深いのは、訓練実施の有無による効果の大きな違いである。90 分講座を 3 週間にわたり 6 回実施した訓練を受けた裁判官は、ツール単独のアクセスのみの裁判官と比べ、4 倍の使用頻度を達成した。

具体的には：

  • 訓練なし: ログイン約 20 回、プロンプト 50 未満
  • 訓練あり: ログイン約 60 回、プロンプト 200 以上

訓練では、裁判官に AI の信頼性が高いテキスト編集・要約タスクへの活用方法を教え、幻覚リスクが高い広範な法律研究は控える行動パターンへと導いた。

実装から学ぶ AI 導入の本質

JudgeGPT のケーススタディが示唆するのは、AI システムの有効性は、テクノロジーそのものより「人」の準備と理解にかかっている という単純だが重要な原則である。

最先端のモデルでも、ユーザーが使い方を理解しなければ効果は限定的。6 週間の手厚い訓練が 4 倍の使用頻度と、最終的には数千万ドルの経済効果をもたらした実績は、政府・企業による AI 導入時の「人的投資」の重要性を実証している。

今後の展開

記事では具体的な実装や拡大のタイムラインについては言及されていないが、この成功モデルが他の発展途上国やアメリカの司法制度にも応用される可能性がある。特にケース処理の効率化が社会的課題である地域での実証が期待される。