Gwern、小規模データでAI過学習が人間的推論を実現

GwernのエッセイはAI予測における確立された信頼性に基づいている。彼はGPT-3リリース直後の2020年に「スケーリング仮説」を発表し、その後の10年間のスケーリング継続と1兆ドル規模のGPUクラスター軍拡競争を正確に予測した。これらの予測はChatGPTとAIブームの2年前に行われたもので、現在の提案は最近数年の主流のスケーリング正統性と矛盾するものの、彼の実績はこの提案に重みを与えている。

このポストが指摘する問題は実証的に本物である。LLMは特定領域で人間レベルの性能を示しながらも、広範な汎化で人間に劣ることが明らかになっている。ニューラルネットワークがいかなる汎化にも能力を持つべき理由は何か、そしてなぜ現在のLLMのレベルで止まるのかという疑問は原理上なかなか反論できない。未解決の問題は、言語と推論がグロッキングが単純な数学領域で示した種類の深い発見可能なルールを含むか、それとも人間の汎化がニューラルネットワークが複製できないアーキテクチャ上の特徴に依存しているかである。

実践上の障害は技術的というより文化的側面が大きい。ラボは数百億ドルと工学的資源をコミットする必要があるが、その実験は長期間にわたってまったく進展が見えない。2024年の純スケーリングの停滞（より大規模なGPT-4バリアントが性能低下）と、その後の推論と自動RLの成功を考えると、業界はすでに単純なスケーリングを放棄している。Gwernの根本的に異なるアプローチを採用するかは未解決の問題である。