MIT中心の研究チームが、企業のプライベートデータベースを対象にしたテキストからSQLへの変換ベンチマーク「BEAVER」を発表しました。実務的なSQL生成AIの性能評価が可能になります。

何が起きたか

MITやハーバード大学など複数機関の研究チームが、9128件のクエリと812のテーブルを含む大規模なベンチマークデータセット「BEAVER」を開発しました。このうち7978件のクエリは公開され、残りはテスト用に非公開としています。19の異なる領域から企業のプライベートデータベースのデータを収集しています。

注目点

データセットには3つのクエリカテゴリが含まれています。ドメイン知識がない複雑なクエリ、最小限の複雑さのドメイン固有クエリ、そしてドメイン固有の複雑なクエリです。コードと論文はプロジェクトリポジトリで利用可能です。