AIロボット安全性が問われる時代――研究機関が指摘する「親切さの落とし穴」と「信頼度の誤り」
Penn、CMU、Oxfordの研究機関が発表した論文が、AIロボットのアライメントがチャットボット対策では不足していることを指摘。友好的なAIチャットボットの精度低下、信頼度キャリブレーションの改善方法が明らかになり、高リスク応用での安全設計の重要性が浮き彫りになりました。
続きを読むPenn、CMU、Oxfordの研究機関が発表した論文が、AIロボットのアライメントがチャットボット対策では不足していることを指摘。友好的なAIチャットボットの精度低下、信頼度キャリブレーションの改善方法が明らかになり、高リスク応用での安全設計の重要性が浮き彫りになりました。
続きを読むOpenAIがThe Alignment Projectへ50万ドルを寄付し、企業に偏らない独立系のAIアライメント(人間の意図に沿うAI設計)研究の支援を強化したことは、資金源の多様化と透明性が今後のAI安全の重要な鍵になることを示しています。
続きを読む最新研究は、Levelsデータを用いた三段階アライメントでAIの視覚表現を人間判断に近づけ、few-shot学習や分布シフトへの耐性向上を示したことを報告します。
続きを読む