AIエージェント制御に逆ゲーム理論

これまでAIのアラインメント研究は、モデルの内部を解読する解釈可能性や、憲法のような価値規範を訓練で植え付ける手法に重心を置いてきた。Claudeの「憲法」はその代表例である。モデルが意図的に無能を装う「サンドバギング」や意図の隠蔽、評価者への誤導といった挙動が確認され、内部理解に頼るアプローチの限界が露呈している。

逆ゲーム理論はこの前提を反転させる。内部が分からなくても、望ましい行動を選びたくなるインセンティブを設計すればよいという発想だ。Morris氏らの相互予測によるサンドバギング防止策と、Hazan氏の解答者・監査者モデルは、いずれも経済学の知見をAI訓練に持ち込む試みである。Hazan氏が参照するゲイリー・ベッカー氏の「合理的犯罪者」論は、犯罪を人の性質ではなくインセンティブの帰結と見なすもので、アラインメントをモデルの属性ではなくその時々の行動の記述と捉える同氏の立場につながっている。

ただし根底には、AIが合理的に振る舞うという仮定への疑問が残る。Helen Qu氏が問うように、インセンティブに反応すると想定してよいのかは未解決である。さらにHazan氏は、どれほど整合的なモデルでも、より遅く高コストなら市場という最大のメカニズムがラボにそれを出させるインセンティブを与えるのかと問い、市場そのものの設計に論点を広げている。