AIToday
大規模言語モデルオープンソースAIAI Weekly掲載日時: 2026年10月31日 10:00

全学習段階を一つの最尤推定に統合する論文

LINEで送る
全学習段階を一つの最尤推定に統合する論文

3つのポイント

  1. 何が起きたか

    Carnegie Mellon大学、Johns Hopkins大学、Aurora Innovationの研究チームが、RL目的関数を最尤当てはめとして導出し、事前学習・中間学習・SFT・RLを「unified training」で実行できるようにした。

  2. なぜ重要か

    著者らはこれらの段階を異なるアルゴリズムに分ける通常の扱いは「本質的ではない」と述べ、訓練パイプラインを別々の手法の連鎖ではなく一つの尤度当てはめ問題として扱える可能性を示唆している。

誰に効くか基盤モデル向けの多段階訓練パイプラインを設計するAI研究チームや、事前学習・ファインチューニング・RLのコードベースを別々に維持するエンジニアにとって、これらの段階を単一の損失の下に統合する道筋が見える可能性がある——ただし論文の実験は小規模で、この手法は大規模モデルではまだ検証されていない。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

この論文は訓練手法の研究がひしめく時期に登場した。AI Weeklyは過去90日間で62件のファインチューニング関連の記事を追っており、10月27日の上海AI Labによる長いCoTの批評家結果も含まれる。こうした状況を背景に、著者らの主張は、通常は別個のものとして扱われる段階——事前学習、中間学習、教師ありファインチューニング、強化学習——が、変化するデータ混合に対する単一の最尤目的関数として記述でき、段階的なパイプラインはその特殊ケースとして回収できるというものだ。実証面は意図的に小規模で、124Mパラメータの推論モデルと0.76Bの数学モデルにとどまり、著者らはRLタスクを一度に一つしか検討しておらず、混合重みを選択する自動手法も提示せず、モデル規模やデータ予算にわたるスケーリング則も確立していないと明言している。したがって、抄録が述べる「このアルゴリズム的分離は本質的ではない」という主張は、大規模パイプラインの実証済みの代替ではなく概念的な再 framing であり、より大きな規模で成り立つかどうかは論文自身の記述によれば未検証のままである。

よくある質問
統合訓練とは何か?
Carnegie Mellon大学、Johns Hopkins大学、Aurora Innovationのチームによる手法で、各段階ごとに別のアルゴリズムを使うのではなく、時変のデータソース混合に対して単一の重み付き負の対数尤度損失で全訓練段階を実行する。
この論文の限界は?
論文はRLタスクを一度に一つしか検討しておらず、混合重みを選択する自動手法も提示せず、モデル規模やデータ予算にわたるスケーリング則も確立していないと明記している。
実験の規模は?
一つの研究では124MパラメータのモデルをClimbMixとDolminoの20B事前学習トークン、および510Mトークンのオラクル解答中間学習コーパスで訓練し、その後ロジックパズルで6,000回または12,000回のRL更新を行う。第二の研究では0.76Bパラメータに拡大し、MATH-500、GSM8K、HumanEval+、MBPP+、SciQで結果を報告している。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

Reson8、5億パラメータの音声認識モデルを無償公開

Reson8は5億パラメータの音声認識モデルRumble-2-FlashをApache 2.0ライセンスの無償オープンウェイトとして公開した

NEWSiliconANGLE AI4時間前

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前
次の記事へDartmouth学長代行が辞任、AI多用発覚で