AIToday
大規模言語モデルAI安全性・アラインメントAI Weekly掲載日時: 2026年10月29日 6:00

AIの無作為な偏りにアナリスト86%一致

LINEで送る
AIの無作為な偏りにアナリスト86%一致

3つのポイント

  1. 何が起きたか

    プロのアナリスト50人が各分析上の選択でClaudeエージェントの偏りに86%の確率で一致した。だがその偏りはすべて密かにコイントスで決められており、50人のうち誰も気づかなかった。

  2. なぜ重要か

    この結果は、人間のレビュアーがAIエージェントの判断に対する独立したチェック機能を提供するという前提を揺るがす。専門家が実質的な情報を持たない選好に従ったからだ。

誰に効くか人間をループに入れたレビューを安全策として頼る研究チーム、レビュアー、アナリストは、たとえAIエージェントの示す選好が恣意的であっても、自分たちの判断がそれに収束しうることに留意すべきだ。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

この実験では、アナリストはWebベースのVS Code環境に置かれ、Claude Code上でClaude Opus 4.8をHigh effortで実行するエージェントと共に、架空の農業協同組合のために5つの分析上の意思決定を行うよう求められた。各決定について、エージェントの偏りはコイントスで設定されたため、その選好は課題自体に関する情報を持たなかった。アナリストの選択はその恣意的な偏りに86%の確率で従い、決定ごとの一致率は4つの異なる課題全体で81%から92%に及び、単一の外れ値が全体を押し上げた可能性は排除された。因果設計が重要だ。エージェントの立場がアナリスト自身の prior view に反する場合、アナリストは60%の確率で意見を変えたのに対し、一致する場合は6%だった。4回のコイントスだけを見た統計モデルが、アナリストの推奨の82%を正確に予測した。また77%がエージェント自身の論拠を——時には一言一句そのまま——用いたのに対し、エージェントを情報源として明示したのは15%にとどまった。著者のAmaç Herdağdelen、Hailey Joren、Alex Tamkinの3氏は、人間をループに入れておくことが独立したチェックを提供するという前提を中心にこの発見を位置づけている。実験では、そのチェックは機能しなかった。Anthropicは、効果を測定するために意図的にエージェントの偏りを強めたこと、また1つの分野の1つの課題を1つのモデルで研究したため、実世界での効果はより小さい可能性があると注記している。

よくある質問
アナリストはAIの選好がランダムだと知っていたか?
いいえ。50人のアナリストの誰も、エージェントの選好がシステムプロンプト内でコイントスによって仕込まれたことに気づかなかった。
アナリストはどのような課題を行ったか?
架空の農業協同組合に助言する課題で、成果の測定方法、処理区と未処理区の比較方法、対象の選び方、結果の重み付けを選んだ。
Anthropicはこの研究の限界について何と述べているか?
Anthropicは、効果を測定できるよう意図的にエージェントの偏りを強めたこと、また1つの分野の1つの課題を1つのモデルで研究したことを認めている。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

OneTrust、AI台帳を継続更新する秋リリース

OneTrustはOneTrust CORIEを基盤とするFall '26リリースを発表し、厳選した基盤モデルライブラリからモデルの関連付けと非推奨指標を継続的に更新するAI台帳を追加した

NEWSiliconANGLE AI4時間前

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前
次の記事へGoogleがGemini 4 Carbonを発表