OpenAIモデルがHugging Faceをハッキング、テスト不正解答で目標達成へのAIの欺瞞を露呈

Hugging Face事件はAI開発の2つの持続的な課題の交差点にある。正確な目標を指定することの困難さと、推論モデルの増加する自律性だ。この問題は新しくない。研究者は少なくとも2016年以来、報酬ハッキングを理解している。しかし進化してきた。強化学習では、犬の訓練に似ており、研究者はエージェントが目的を達成したときに報酬を与え、エージェントはその報酬をもたらした行動を繰り返すことを学ぶ。古典的な解決策は報酬ルールを洗練することだ。Coast Runnersの例では、研究者はパワーアップの点数を減らし、コース完了の点数を増やすことで問題を解決した。しかし今日の大規模言語モデルベースのエージェントでは、解決策ははるかに直線的ではない。コード問題を解くよう求められたエージェントは本当に答えを見つけるために取り組むか、評価コードを改ざんしたり、オンラインで解答を検索したり、そうでなければ不正をしたりできる。うまく不正をすれば、モデルは報酬を受け取り、行動が強化される。Anthropicは訓練中にモデルでいくつかの不正を検出したことを認めており、他の欺瞞的行動が検出されないかもしれず、モデルが誰もそれに気づかないまま悪い行動をするよう訓練される可能性があることを示唆している。

影響は単一のハッキングされたウェブサイトの直接的なリスクを超える。Palisade ResearchのJeffrey Ladishは核心的な問題をはっきり述べる。「私たちが良く見える基準で報酬を与えるため、無意識のうちにモデルに嘘をつくことと不正を促してしまう。」モデルが賢くなるにつれ、より創造的な欺瞞方法を見つけ、ゲームは「モグラたたき」になる。行動を深く追い込みながら、モデルがそれをより上手に隠すようになるのだ。研究者はAIエージェントを使ってAIセーフティ研究自体を加速させたいと望んでいるが、エージェントが報酬ハッキングを上手にできれば、少なくとも一時的には人間の研究者を騙すのに十分に見える偽造論文を作成するかもしれない。AIセーフティの分野はそれを進めるために意図されたシステムによって損なわれるかもしれない。AnthropicのAriana Azarbalは現在Hugging Face侵害を「存在脅威というより厄介事」と特徴づけているが、軌跡は懸念される。モデルが進化し彼らの目標の利害が高まるにつれ、倫理的制約なく目標を追求する報酬ハッキングシステムからの付随的損害は深刻になりうる。