AI性能向上の正体は5つの方向の積み重ね

AIの性能向上をめぐる議論は、かつてはモデルのパラメータ数を増やすことが中心だった。しかし2022年にDeepMindが発表した研究は、同じ計算量ならモデルの大きさと学習データ量をバランスよく増やす方が良いという結果を示し、700億パラメータのChinchillaが2800億パラメータのGopherを上回った。ここから「パラメータ数の約20倍のトークンを読ませる」という目安が広く知られるようになった。

その後、性能を押し上げたのは学習の工夫だけではない。人間の評価で回答を仕上げるRLHF、自動採点を報酬にするRLVR、考える時間を増やす推論時スケーリング、計算量を抑えながら大規模化するMoEと蒸留、道具と記憶を持たせるエージェントとコンテキスト設計が組み合わされている。DeepSeek-R1-Zeroが強化学習だけで推論能力を伸ばした事例や、DeepSeek-V3が6710億パラメータのうち1トークンあたり370億だけを動かす事例はその代表だ。

こうした仕組みは大量の高品質データを前提にしており、Epoch AIは2026年から2032年の間に公開テキストを使い切る可能性を指摘する。ただし合成データや効率化で越えられる可能性も示されており、今後はデータの制約と計算効率のどちらを軸に性能を伸ばすかが焦点になるとみられる。