LLM5人で人狼2試合、推論を検証

この実験は人間が築いた戦略を意図的に排除している。プレイヤーに与えられるのはルール、自分の役職、見える盤面だけで、「人狼COはするな」といった指示はない。だからこそ以前のQwen3:8bとQwen3:14bとの比較が面白い。ローカルモデルは狂人が狂人CO、人狼が人狼COといきなり正体を明かしたため、ハードルは低かった。gpt-6 Lunaはそれを越え、狂人も人狼も占い師を騙り、2試合目では他プレイヤーに黒結果を偽装した。

著者はこれを過大に解釈しないよう注意している。システムは発言のたびにAPIを新規呼び出しし、プレイヤーの以前の内面を引き継がないため、事実は知っていても自分の過去の計画は分からない。1試合目に狂人が人狼を疑って投票し、2試合目に自分自身へ投票したのは、熟慮した戦略ではなく思考の途切れとみられる。人狼の不可解な最終投票も同様で、そこに勝利への筋道はなかった。

弱さが見えたのは、盤面がほぼ導く結論を出す場面だ。2人の対立候補をほぼ排除できる真占い師は、両試合とも人狼を名指しせず曖昧にした。死者が出たと告げられた狩人も、護衛が成功したか分からないと述べた。著者の暫定的な見立てでは、推論強度が既定のmediumで1ターン約500トークンの思考のため、もっと考えさせれば状況は変わり得る。より強いモデルと高い推論強度が次の課題だという。