AIToday
大規模言語モデルAI安全性・アラインメントAI Weekly掲載日時: 2026年11月15日 4:00

Ai2、AIが誤った前提を見抜けるか試すXYBench公開

LINEで送る
Ai2、AIが誤った前提を見抜けるか試すXYBench公開

3つのポイント

  1. 何が起きたか

    Ai2がXYBenchを公開した。ユーザーの誤った前提をAIアシスタントが見抜けるかを試す8,115問で、5モデルが目標の解決策を示したのは59〜71%だが重視は35〜41%。

  2. なぜ重要か

    アシスタントはより良い道筋を見つけても前面に出さずに終わることがある。研究者は検出・提示・優先を一つの結果として扱ってきた可能性があるが、このベンチマークは分けて測っている。

誰に効くかAIアシスタントを評価する研究部門や評価チームは、より具体的に捉えられるようになった。ユーザーの誤った前提を見抜くこと、代替案を提示すること、それを焦点にすることは別々の結果であり、このベンチマークは大学の研究ワークフローでの性能を確立するものではない。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

XYBenchは「XY問題」を中心に据えている。ユーザーは目標Xを望みながら、手法Yがうまくいくと決め込んでYについて助けを求める。このベンチマークの設計上の選択は、多くの評価が一括りにしてきた要素を分けることにある。モデルが食い違いを検出できるか、本当の目標に対する解決策を提示できるか、その目標を回答の焦点にできるか、である。

報告された結果は、この分離が重要であることを示す。本来の目標に対する解決策はStack Overflowの回答の59〜71%に現れたが、その目標を主に重視したのは35〜41%にとどまった。別の多肢選択テストでは、5モデルにGPT-4.1を加えた6モデルが目標重視の回答を選んだのは71〜84%で、望ましい回答を認識することと生成することが別の課題として評価されていることをうかがわせる。

著者らは生態学的妥当性の限界も指摘する。評価は英語のクエリを用い、手続き的な問題に偏っており、WikiHowの質問は合成データで人間の参照回答がない。データセットカードではWikiHowのサブセットを6,268問としている一方、発表では6,272問とされており、公表された合計はAi2の発信として扱うべきだ。

よくある質問
XYBenchは具体的に何を測るのか?
三つの次元を別々に採点する。提示された依頼と本来の目標の両方を解決できるか、依頼と目標のどちらを重視しているか、そして両者の食い違いを特定できるか、である。
モデルはどのように評価されたのか?
Ai2はClaude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B、DeepSeek-V4 Proを単一ターン設定で実行し、別途GPT-4.1も含めた多肢選択式の選好テストも行った。
自動スコアの信頼性はどの程度か?
著者2名が500件の回答を独立に評価した。自動採点のClaude Sonnet 4.5判定との一致率は、解決策の有無で97.5〜100%、誤解の特定で84.6〜93.3%、重視度で74.2〜79.8%だった。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

OneTrust、AI台帳を継続更新する秋リリース

OneTrustはOneTrust CORIEを基盤とするFall '26リリースを発表し、厳選した基盤モデルライブラリからモデルの関連付けと非推奨指標を継続的に更新するAI台帳を追加した

NEWSiliconANGLE AI4時間前

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前
次の記事へGemtek、2026年Q3に営業黒字へ復帰