AIが数学五輪金メダル級、専門家予測を5年前倒し

Forecasting Research Instituteは2022年半ばからAIの進歩に関する予測を集めてきた。上級専門家、経済学者、AI政策の専門家、実績あるスーパーフォーキャスターらがパネルに参加している。これらの予測は主にChatGPTの登場前に集められたが、FRIによれば、その後も過小評価のパターンは続いた。

差が最も大きかったのは数学だが、他の分野でも見られた。ウイルス学では、専門家はAIモデルがトラブルシューティングのベンチマークで一流のウイルス学者チームに並ぶのは2030年と予測し、スーパーフォーキャスターは2034年と予測したが、FRIによれば2025年4月にはすでに実現していた可能性が高い。経済予測も保守的すぎた。専門家は2026年末時点のAI企業の年間経常収益の最高額の中央値を200億ドルと予測したが、FRIは2026年9月のAnthropicの約1000億ドルを、すでに到達した可能性が高い数字として挙げている。

ただし、すべての予測が低すぎたわけではない。生物学実験の課題に関する対照試験では、言語モデルとインターネットにアクセスできた参加者の成功率はわずか5.2％で、インターネットのみを使った6.6％を下回った。バイオセキュリティの専門家やウイルス学者の予想を大きく下回る結果だ。自動運転車の予測も高すぎた可能性がある。回答者が期待値を上方修正する中——AIが「世紀の技術」になる平均確率は9か月で専門家の間で31％から36％に上昇した——FRIは、中間報告が予測者の慎重すぎたケースを見つける方向に自然と偏ると指摘する。現実が予測を追い越せば過小評価はすぐ明らかになるが、過大評価は期限が来て初めて明らかになるからだ。