群衆ベンチマーク

最新研究が示す揺らぐLLMランキングの落とし穴

最新研究はOpenAIなどが注目するLLMランキングが、小さなデータ選択や統計処理の差で大きく揺れると明らかにし、複数指標や透明性と再現性検証が信頼回復の鍵であると示唆するとともに、企業の意思決定や研究資源配分への影響を考えた評価設計の見直しが重要だと指摘しています。