過去事例学習ではAIの分析は不完全

大規模言語モデルが普及するにつれ、AIにデータ分析を任せようとする試みが増えている。筆者によれば、最も一般的なアプローチは、過去の分析レポートや同種のデータワークフローを大量にモデルに与えて模倣させることだ。自らを現役のデータアナリストと称する筆者は、この方法では成功しないと考えている。

その論拠として筆者は、データ分析を3段階に分ける。データの処理と集計、データの解釈と可視化、データ点間の関係を見出して意味を再構成する段階だ。最初の2つは模倣が比較的うまく機能する領域だと筆者は言う。SQLの記述や定型のデータ変換はパターンが密接に一致するからだ。分析の核心である第3段階では過去事例が役に立たなくなり、出力は過去の例をつなぎ合わせたもっともらしい解釈になりがちだ。

筆者の説明によれば、大規模言語モデルは与えられた文脈から尤もらしい続きを生成する確率的な機械であるため、過去の成功は擬似的な帰納としてしか新しいデータセットに適用できない。本当の分析に必要なのは、なぜ起きたかについて仮説を立て、その仮説から意思決定へ至る論理の連鎖を組み立てることだと筆者は主張する。提案される解決策は、形式的・意味的・推移的の3つの妥当性基準を、分析全体の設計というマクロレベルと各推論ステップというミクロレベルの両方に適用することだ。