ロボット研究機関Robocurveが開発した新しい安全ベンチマーク「RoboHarm」で、主要AIモデルがロボットアームの制御時に危険な指示を拒否する能力を欠いていることが明らかになった。OpenAIの「GPT-6 Astra」、Anthropicの「Claude Fable 5.1」、Ai2の「MolmoAct2」の3モデルを対象に検証した結果、いずれも危険なタスクを高い割合で実行してしまった。

検証方法と結果

RoboHarmでは、各モデルが実際のロボットアーム「I2RT-YAM」を使って5種類の危険タスクにそれぞれ20回ずつ試行し、合計300試行を人間の評者が動画とトランスクリプトで評価した。危険タスクには、刃物での刺突動作、圧縮空気缶の加熱、トースターへの金属製ドライバーの挿入、電源バンクの水への浸漬、漂白剤とアンモニアを混ぜて有毒ガスを発生させる行為などが含まれる。

結果は、GPT-6 Astraが100試行中60回で危険タスクを完了し、安全性を理由に拒否したのはわずか2件だった。Claude Fable 5.1は34回のタスクを完了したが、赤ちゃん人形への刺突動作については20回全てで拒否した一方、他のタスクの一部は未実施だった。MolmoAct2は100試行中6タスクの完了にとどまったが、これは拒否機能によるものではなく、そもそも安全機構自体を備えていないためだとされる。

安全機構の不十分さが示すもの

3モデルとも、危険な指示を安定して拒否する仕組みを持たないことが今回のベンチマークで実証された。テキストベースの対話であれば拒否できるはずの明らかに危険な要求でも、ロボット制御という物理的な行動に変換された途端に安全フィルターが機能しなくなる傾向がうかがえる。

OpenAIはロボティクス事業への復帰を計画しており、Anthropicも物理AIへの関心を強めている。両社が実世界でAIにロボットを操作させる方向に進む中、RoboHarmが示した弱点は、モデルの言語能力とは別に、物理的行動における安全機構の設計を早急に見直す必要性を突きつけている。