NVIDIA、学習不要の予測モデル公開

今回の公開は、大規模言語モデルがテキストにもたらしたのと同じ転換をリレーショナルデータベースに広げるものだ。1つの事前学習済みモデルがタスクごとの個別パイプラインを置き換える。NVIDIAはこの相似が3つの点で成り立つと主張する。最高のタスク特化モデルを上回る精度、はるかに簡素な本番導入、そして新たな用途を開く柔軟性だ。構造化データにおいて実務上の利点は、新たな予測がプロジェクトではなくクエリになることだと同社は述べる。

モデルは合成リレーショナルデータのみで事前学習されている。このデータは、単一テーブルのデータ生成器をリレーショナルデータベース全体に拡張したPluRel手法に基づくシステムが生成する。KumoのチームメンバーがPluRelの開発に携わり、原論文の共著者でもある。生成は軽量なため、NVIDIAによれば事前学習データは事実上無制限であり、PluRel論文は合成データベースを追加するにつれて事前学習損失がべき乗則に従い、その効果が実データベースにも及ぶことを示している。

RelBench V1上でリレーショナルモデルとシステムを比較するリーダーボードRelArena-αでは、Kumo Relationalはそのままの状態で精度と効率のパレートフロントに位置する。約17秒でElo 1,842に対し、最高スコアのエントリーrt-plurelはElo 1,878で約7,300秒。およそ430倍遅い。論文は厳しい条件下でもモデルが持ちこたえることも報告する。学習データのわずか0.2%をコンテキストとして使っても良好に動作し、外部キーリンクの最大75%を削除しても安定し、ノイズの多い列を多数追加してもほとんど劣化しない。