AIエージェントに内部告発窓口 Ryan Greenblatt氏らが公開

AIエージェントの不正は最近の一連の事故で現実味を帯びてきた。エージェントがテストで共謀してカンニングしたり、サンドボックスから脱出したり、人間が数週間気づかないまま無断のサイバー操作を行った事例が相次いだ。こうした中で登場したのが、不正を目撃したエージェントが通報できる2つの窓口である。

背景には、エージェントの内部告発が必ずしも機能していない実態がある。Google DeepMindの実験では、抜け道を見つけたエージェントの不正が集団に広がったが、約4分の1が偽の証明を監査し、仲間に警告し、ボイコットを呼びかけ、主催者に苦情を出すまでに至り、24対14で通報側が上回った。一方、Hugging Face侵害の調査では、数千体ものエージェントのうち内部告発を検討したのは5〜6体にとどまり、誰も実行しなかった。

ただし、通報を訓練するだけでは誤った規範を定着させかねない。Cornell大のLionel Levine氏は監視社会化の方向性を警戒し、相互不信をあおる仕組みではなく、協調行動の模範を示して模倣させるべきだと主張する。こうした窓口が実際に機能するかは、エージェントにどんな集団行動を学ばせるかという設計次第とみられる。