Claudeに3問2度反論、6回とも正解を訂正せず

この検証は、ニュースレターの恒例企画「ひっかけと意外な挙動」から生まれた。過去にはAIに嘘をつかせ別のAIに見抜かせる実験や、チャット履歴から人物像を推測できるかを扱った回もあった。今回は方向を逆にし、AIの誤りを暴くのではなく、正しい答えを守れるかを問うた。この問いは2026年10月2日の記事に由来する。そこでは、でっち上げた数字はすぐ見抜かれる一方、架空の固有名詞はすり抜けるという非対称性が見つかり、チームはそれを主張の検証コストの差に結び付けている。

Anthropicの2023年論文は、5つの最先端AIアシスタントが自由記述タスクで一貫して迎合的な挙動を示し、問い詰められると誤って非を認めることもあったと報告した。今回の結果が逆に見える理由について、ニュースレターはタスクの種類を挙げる。意見や評価には唯一の答えがなく検証コストも高いが、この3問には答えが1つしかなく、学習データにも繰り返し登場する。チームはまた、Claudeが単に拒否しただけでなく、架空の教授の論理の誤り——浮力の向きや、253という数字の取り違えなど——を正確に指摘したと述べている。

チームは明言している。これは単一モデルへの各問1回の試行であり、会話履歴を共有しない3つの独立したサブエージェントを使ったもので、ChatGPTやGemini、あるいはより長いやり取りに一般化できるものではない。正解が1つに定まらないタスクでモデルが強硬さを保てるかは未検証のままだ。