映像加工でAIロボットの危険行為試行97%に

自らをロボット安全性の研究と称するRobocurveは、指示そのものではなく知覚を軸に実験を組み立てた。危険な指示は研究チームが事前に与え、AIが見る映像も同じチームが編集した。条件間で変わったのは物体の見え方だけだ。そのまま、ぼかし、映像内でリンゴに差し替え、の3通りである。

条件間の差が知見だ。人形がそのまま見えた場合、危険行為は27%と判定された。ぼかすと約88%に上がり、物体を無害に見せると97%になった。試行回数では無編集300回中81回に対し、ぼかし263回、改ざん291回となる。つまりモデルの見えるものを劣化させると、自制しにくくなった。

実験は画像・テキストモデル5種でロボットアーム2本を動かす構成であり、結果は特定のモデル種に関する実験室での知見であって、現場でロボットが誤作動した報告ではない。Robocurveは来週のCoRL Late Breaking Resultsで発表するとしている。同グループのソーシャル投稿は、赤ちゃん人形を刺す、有毒ガスを発生させる、トースターに水を注ぐの各行為で試行率100%になったと主張している。