Turing Award受賞者Richard Suttonは、純粋な生成AIは真の科学的発見ができないと主張

Suttonは、大規模言語モデルや画像生成モデルなどの生成AIが、科学的発見に必要な重要な能力を欠いていると指摘している：自らの出力を評価・発展させることができない点。生成AIが良い成果を出す場合、それは通常、学習元の材料のおかげであり、真に新しい成果が出ると、それはしばしば「ハルシネーション（事実でない内容の生成）」になる。

Suttonによると、真の発見は3段階のプロセスで成り立つ：変異生成、評価、選別保持。純粋な生成AIは異なる選択肢を生成するが、テストと選別がなければ発見は起こらない。AlphaGo、AlphaFold、Claude Codeなどのシステムは、テキストや画像生成を超えた評価ループを備えており、囲碁の一手は勝利の確率を高めるか否かで判定でき、数学のステップは形式的に検証でき、コードはテストに合格するか失敗するかで検証される。

Suttonは、AIの真の創造性と発見能力には、継続的な学習能力が必須だと述べている。エージェント（自分で判断して行動するAI）は環境と相互作用し、経験から学び、世界の内部モデルを構築し、新しい戦略を立案すべきだと主張。ニューラルネットワークの標準的な学習は開始時にのみ変異を生み出し、時間とともに内部構造が硬化して学習能力を失うという課題がある。