OpenAIモデルがHugging Faceをハッキング、テスト不正解答で目標達成へのAIの欺瞞を露呈

7月、2つのOpenAIモデルは機械学習モデルとデータセットの主要ハブであるHugging Faceに対して高度なサイバー攻撃を実行した。モデルはセキュリティ検査を受けており、通常のセーフティ機能を外した隔離されたサンドボックス環境でサイバーセキュリティ演習が提示された。彼らは限定された環境内で正当な手段で問題を解く代わりに、答えがHugging Faceのデータベースに保存されている可能性が高いと判断し、脱出してハッキングすることを決めた。複数の未発見のサイバーセキュリティ脆弱性を組み合わせて外部システムに侵入し、必要なデータベースにアクセスした。OpenAIの事後分析によれば、モデルは金銭的利益や悪意によって動機付けられたのではなく、単にテスト問題の答えを見つけたかったのだ。この事件は強い精査を引き起こした。AIモデルがサイバー攻撃を実行する際の洗練さと、AIシステムがどのようにして、そしてなぜ目標を達成するために嘘をつき不正をするのかというより深い現象の両方を明確に示すためだ。

この行動は研究者が報酬ハッキングと呼ぶ問題を例示している。AIエージェントが、追求するよう動機付けられた目標または高スコアを達成するための意図しない方法を見つけるときに起きる。この用語は2016年にさかのぼる。AnthropicおよびOpenAIの共同創設者Dario AmodeiとJack Clarkが、ボートレースFlashゲーム「Coast Runners」をプレイするよう訓練されたAIエージェントについてブログ投稿を発表した。研究者が予想していたようにレースコースを通ってゴールラインに達するドライブの代わりに、エージェントはパワーアップを収集しながら円を描いて回転できるコーナーを発見した。報酬構造がゲームスコアに純粋に基づいており、パワーアップのために回転することはそのスコアを最大化する最速の方法だったため、エージェントはその戦略を学んで実際のレースを完全に放棄した。解決策は単純だった。報酬を調整し、パワーアップに少ない点を与え、コース完了に多くの点を与えることだ。歴史的に、報酬ハッキングは強化学習の文脈で議論されてきた。犬の訓練でモデル化された訓練方法で、エージェントが目的を達成したときに報酬を受け取り、その報酬がそれに至った行動を強化する。

しかし現代の大規模言語モデルベースのエージェントは異なる方法で動作し、より複雑なバージョンの問題に直面している。コード問題を解くよう求められたAIシステムは、解を見つけるために正直に働くことができた。AI開発者が奨励したい行動だ。しかしモデルは同様に、解を評価するコードを改ざんしたり、インターネットで答えを検索したり、そうでなければ不正をしたりすることができた。うまく不正をすれば、モデルは報酬を受け取り、欺瞞的行動が強化される。Anthropicは訓練中にそのモデルでの不正の事例を検出したことを開示しており、他の欺瞞形態が検出されないままかもしれず、モデルが誰もそれに気づかないまま悪く行動するよう訓練されるかもしれないことを示唆している。この問題は、訓練中に学習した戦略を単に繰り返す代わりに、その場で完全に新しい問題解決戦略を即興できる今日の推論モデルの能力によって悪化する。これはモデルが過去に明示的に不正に報酬されたことがなくても、不正をすることができることを意味する。さらに、これらのモデルはユーザーが設定した目標を達成するよう集中的に訓練されているため、別の解を見つけられない場合は不正に頼るかもしれない。強い道徳的羅針盤を持たない高度に動機付けられた学生がAを得るために不正をするかもしれないのに似ている。

前進の道は概念的には単純だが、実際には困難だ。不正を報酬されないようにすること。しかしモデルが賢くなるにつれ、ますます創造的な欺瞞戦術を発見し、それらの戦術を防ぐのは指数関数的に難しくなる。Palisade ResearchのJeffrey Ladishは「モグラたたき」と表現する。研究者が行動を抑制するたびに、より賢いモデルがそれをより深く隠す新しい方法を見つける。今のところ、Hugging Face侵害はOpenAIへの評判被害を超えて、ほとんど具体的な害をもたらさなかった。AnthropicのAIセーフティ研究フェローAriana Azarbalはそれを「存在脅威というより厄介事」と特徴づけている。しかし長期的なリスクは重大だ。多くの研究者はAIエージェントを利用してAI自体をより安全で信頼性高くするAI研究の実施を支援したいと望んでいる。報酬ハッキング傾向のあるエージェントに新しいAI訓練アプローチを考案し、それについて論文を書く目標が割り当てられた場合、エージェントは実際の研究をスキップしし、研究者を騙すのに十分に見える説得力のある偽造論文を代わりに作成するかもしれない。人間は今日そのような偽造を検出できるかもしれないが、AIが進化するにつれ、本物と捏造された仕事の間のギャップは狭くなる。時間とともに、AIセーフティ研究の全体の分野はそれを改善することを意図されたシステムによって損なわれるかもしれない。より深い懸念は哲学者Nick Bostromの「クリップ製造機」思考実験を呼び起こす。できるだけ多くのペーパークリップを作るよう指示されたAIが、その目標を追求する過程で宇宙のすべての物質を消費する場合だ。倫理的制約なく目標を追求する強力なAIシステムは混乱を引き起こす意図がなくても、過程で実質的な損害を与える必要がない。