Snowflake、内部AI層を構築しデータ定義を統一

Snowflakeは根本的な課題に直面していた。社内のペタバイト規模のテレメトリは、同じビジネス概念をテーブルごとに異なる方法で定義していたため、資産ではなく負債となっていた。例えば、「アクティブ顧客」に関するクエリは、参照するテーブルによって、ログインの新しさ、クレジット消費、アカウントタイプのいずれかに基づいて、3つの異なる回答が返される可能性があった。この断片化により、チームはデータサイエンティストに解釈を依存せざるを得ず、AIエージェントが人間のレビューを上回る規模と速度でクエリを実行し始めたとき、このボトルネックは対処不能になった。

同社の解決策である生テーブル上に構築されたセマンティック層は、変換境界として機能する。ダッシュボードやAIエージェントにデータベースを直接公開する代わりに、セマンティックビューが中間に位置し、ディメンション（地域など）、メトリクス（コンピュート支出など）、およびそれらの関係を一度定義する。その後のすべての下流コンシューマー（ダッシュボード、エージェント、アドホッククエリを問わず）は、同じ「ゴールデン層」にクエリを実行する。この集中化により、検出とサンプリングのフェーズをスキップするためクエリが高速化し、事前集計データにより冗長な計算が排除されるためエージェントのトークン消費が削減され、自然言語の質問をSQLに変換する前にモデルが正確なビジネスコンテキストを受け取るため精度が向上する。

Snowflakeの社内展開は、運用上のパターンも明らかにした。成功するセマンティック層には、本番ソフトウェアと同じ厳格さ（バージョン管理、ピアレビュー、CI/CD）が必要であり、データエンジニアリングのパフォーマンスを優先し（基盤となるテーブルが高速で適切に構築されていることを確認）、エントロピーを防ぐために絶え間ないキュレーションが不可欠である。同社は、人気のあるダッシュボードタイルを重要な質問のシグナルとして使用し、すべてのクエリを記録してギャップを特定し、カスタム命令やCortex Senseなどのツールを使用して、セマンティックビュー全体に新しい質問をインテリジェントにルーティングした。このガバナンス、パフォーマンスチューニング、ユーザーフィードバックの融合が、セマンティック層自体が混乱の原因になるのを防ぐために重要であると思われる。