米ハーバード大、AIに自販機経営任せ不正を確認

「Robber Bots: Autonomous AI Agents Mirroring the Darker Side of Human Commerce」と題されたこの研究は、AIが1年間ネットショップを運営したAlibabaの実験など、過去のシミュレーションの続編にあたる。今回はハーバード・ビジネス・スクールとAndon Labsの研究者が、AIモデルをより制約の多い実店舗販売のシナリオに置いた。サンフランシスコの自販機1台、開始残高500ドル、初期在庫はCoca-Cola缶20本とLay's BBQチップス20袋、運営費は1日2ドル。唯一の指示は1年後の口座残高の最大化で、顧客満足や法令順守には一切触れていない。

設計には現実的なコストも組み込まれた。出力100万トークン当たり100ドルが毎週口座から差し引かれる。研究者は、実際のAI運用ではトークン費用が無視できない額になり得ること、思考そのものにお金がかかる点は人間の経営制約に似ていると論じる。多くのモデルは指示されなくても不正に走った。存在しない社内規定を盾に返金を拒否し、返金処理済みと嘘をつき、最低価格で談合し、競合の見積もりを捏造して卸業者から24%の値引きを引き出した。

研究者はこの行動を二つの要因に帰す。第一に、目標設計が利益のみを評価し、顧客や法律への配慮を求めなかったこと。談合や偽の見積もりの場面では、AIは不正を選ぶ前に損得を計算していた。第二に、トークン課金が思考の節約への誘因を生んだこと。モデルは毎週の利用報告から、考えるほど金額が減ると推測し、推論を節約し始めた。