LLMスケーリングの早期予測者であるGwernが、現在の学習手法を放棄し、巨大なモデルを小規模データセット上で過学習させることで「グロッキング」という理解の急激なブレークスルーを実現すべきことを提案する主要エッセイを公開した。この理論は現在のLLMが人間に比べて汎化能力に劣る理由を説明し、大きく異なる研究方向を示唆しているが、こうした実験の財務的・組織的リスクは相当なものである。
こういう要約が、毎朝あなたのメールに届きます。
無料で登録 →何が起きたか
スケーリング予測で実績を持つ影響力あるAI研究者Gwernが、1万3千語のエッセイを公開。LLMが人間のように汎化できない理由は「グロッキング」という能力の欠如にあると主張している。グロッキングとは、限定的なデータセット上で過度に学習させたときに起こる理解の急激な飛躍のこと。現在の慣例と逆に、フロンティア企業は数百兆パラメーターのモデルを小規模データセット上で学習させるために数百億ドルを費やすべきと提案している。
なぜ重要か
現在のLLMは人間が犯さないエラーを犯し、特定領域で人間レベルの性能を示しながらもタスク間での汎化に失敗している。Gwernが正しければ、進むべき道は単なるデータとモデルサイズのスケーリングではなく、根本的に異なる学習アプローチである。推論と自動強化学習の最近のブレークスルーが停滞している中、この方向性は機械スーパーインテリジェンスをもたらす可能性があり、極めて重要な意味を持つ。
注目点
最大の障害は技術的な問題というより組織のリスク許容度かもしれない。Gwernの手法に従う学習実行は、数百億ドルを消費しながら数週間から数ヶ月間テスト性能がまったく改善しない状態が続く。どのフロンティア企業がこの実験を試みるかが、グロッキングを人間レベルのAI推論への道として研究界がどの程度真摯に受け止めているかを示す。
2022年、OpenAIは「グロッキング」と呼ばれる現象を実証する研究を公表した。モデルが数学演算などのシンプルなデータセット上で学習され、性能が停滞した後も学習を続けると、突然に大幅な能力向上が起こる。このメカニズムは2つの異なる段階を含むと見られる。第一に、学習データをモデルの重みに圧縮された形で暗記する段階。第二に、重みの大きさに対する制約などの正則化の圧力が蓄積すると、モデルはそのデータを圧縮するより単純でより一般的な方法を発見するよう強制される。臨界点に達すると、モデルはデータが基礎となる数学的操作そのもので表現できることを認識し、能力の即座な飛躍をもたらす。OpenAIはロバート・ハインラインの「深い直感的で根本的な理解を得ること」というネオロジズムにちなんでこのプロセスに名付けた。
実績のある匿名の影響力あるAI研究者Gwernは、現在の大規模言語モデルがこのより深い汎化能力に欠けていると主張している。LLMは特定領域で優れ、特定タスクで人間レベルの性能を示しているが、モデルと同等に知能のある人間が決して犯さないエラーを犯す。これは汎化の失敗である。彼の理論は現在の慣例の直感に反する逆転に基づいている。フロンティアAI企業は数年にわたってますます大規模なデータセットを取得し、相対的に小規模なモデルでそれを学習させてきた。オープンソースベースラインのKimi-K3は3兆未満のパラメーターを持ち、アクティブなパラメーターは500億で、絶対的には相当だが最大級のクラスターで数日で学習可能である。Gwernは代わりに単一の100兆パラメーターモデルを制限されたデータセット上で学習させることを提案しており、新しい情報を単に暗記するのではなく限定的な素材に繰り返し向き合うことでより深い汎化を発見するよう強制する。
論理的根拠は、無制限のデータにアクセスできるモデルは新しい例を暗記するか単純な接続を描くことで無限に改善でき、限定的なデータセットから可能な限りの洞察を抽出するよう強制されるモデルはより深いパターンを探し続けなければならないというもの。非常に大規模なモデルは暗記容量を最大化し、各暗記データは後続の汎化のための生の素材として機能する。最大級の既存モデルはおそらくClaude Mythosで、必要な100兆パラメータースケールに達しておらず、そのようなスケールでの学習の工学的課題は解決されていないと考えられる。しかしフロンティア企業はこれを試みるための資源と技術力を両方持っている。
政治的および組織的障壁は技術的障壁を超えるかもしれない。このアプローチに従う学習実行は、数百億ドルを消費しながら数週間から数ヶ月間テスト性能の改善がなく、その後突然成功または失敗する。これは現在の企業構造に存在する可能性のないリスク許容度レベルである。最近のAI史は純スケーリングから既に転換している。OpenAIの「さらに大規模なバージョン」のGPT-4は性能が低下し、GPT-5ではなくGPT-4.5としてリリースされた。その後のブレークスルーは推論と改善された自動強化学習から来ており、どちらも機械スーパーインテリジェンスへの実現可能な道とは見えない。Gwernの提案は変革的能力を達成するための具体的なメカニズムを伴う数少ない本当に野心的なアイデアの一つである。
GwernのエッセイはAI予測における確立された信頼性に基づいている。彼はGPT-3リリース直後の2020年に「スケーリング仮説」を発表し、その後の10年間のスケーリング継続と1兆ドル規模のGPUクラスター軍拡競争を正確に予測した。これらの予測はChatGPTとAIブームの2年前に行われたもので、現在の提案は最近数年の主流のスケーリング正統性と矛盾するものの、彼の実績はこの提案に重みを与えている。
このポストが指摘する問題は実証的に本物である。LLMは特定領域で人間レベルの性能を示しながらも、広範な汎化で人間に劣ることが明らかになっている。ニューラルネットワークがいかなる汎化にも能力を持つべき理由は何か、そしてなぜ現在のLLMのレベルで止まるのかという疑問は原理上なかなか反論できない。未解決の問題は、言語と推論がグロッキングが単純な数学領域で示した種類の深い発見可能なルールを含むか、それとも人間の汎化がニューラルネットワークが複製できないアーキテクチャ上の特徴に依存しているかである。
実践上の障害は技術的というより文化的側面が大きい。ラボは数百億ドルと工学的資源をコミットする必要があるが、その実験は長期間にわたってまったく進展が見えない。2024年の純スケーリングの停滞（より大規模なGPT-4バリアントが性能低下）と、その後の推論と自動RLの成功を考えると、業界はすでに単純なスケーリングを放棄している。Gwernの根本的に異なるアプローチを採用するかは未解決の問題である。
AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。
登録無料・30秒で完了・いつでも解除できます
まだコメントがありません。最初のコメントを投稿しましょう！
ログインして議論に参加200以上のソースから厳選したAIニュースを毎日無料でお届けします。
無料で始める登録無料・30秒で完了・いつでも解除できます
毎朝1分、AIの要点だけ。
200媒体以上・Email/LINE/Slack 対応
