
何が起きたか
MITやハーバード大学など複数機関の研究チームが、9128件のクエリと812のテーブルを含む大規模なベンチマークデータセット「BEAVER」を開発しました。このうち7978件のクエリは公開され、残りはテスト用に非公開としています。19の異なる領域から企業のプライベートデータベースのデータを収集しています。
なぜ重要か
従来のテキスト・ツー・SQL(自然言語から SQL文への変換)ベンチマークは、実業務での複雑さを十分に反映していなかったとみられます。本データセットは、複数テーブルの取得やジョインキーの検出、カラムの対応付けなど5つの細かなサブタスクに注釈を付けており、企業がAIモデルの実用的な性能を正確に評価できるようになります。
注目点
データセットには3つのクエリカテゴリが含まれています。ドメイン知識がない複雑なクエリ、最小限の複雑さのドメイン固有クエリ、そしてドメイン固有の複雑なクエリです。コードと論文はプロジェクトリポジトリで利用可能です。
こういう要約が、毎朝あなたのメールに届きます。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ
