MIT中心の研究チームが、企業のプライベートデータベースを対象にしたテキストからSQLへの変換ベンチマーク「BEAVER」を発表しました。実務的なSQL生成AIの性能評価が可能になります。

何が起きたか：MITやハーバード大学など複数機関の研究チームが、9128件のクエリと812のテーブルを含む大規模なベンチマークデータセット「BEAVER」を開発しました。このうち7978件のクエリは公開され、残りはテスト用に非公開としています。19の異なる領域から企業のプライベートデータベースのデータを収集しています。

なぜ重要か：従来のテキスト・ツー・SQL（自然言語から SQL文への変換）ベンチマークは、実業務での複雑さを十分に反映していなかったとみられます。本データセットは、複数テーブルの取得やジョインキーの検出、カラムの対応付けなど5つの細かなサブタスクに注釈を付けており、企業がAIモデルの実用的な性能を正確に評価できるようになります。

注目点：データセットには3つのクエリカテゴリが含まれています。ドメイン知識がない複雑なクエリ、最小限の複雑さのドメイン固有クエリ、そしてドメイン固有の複雑なクエリです。コードと論文はプロジェクトリポジトリで利用可能です。