AIToday
大規模言語モデルAIビジネス・産業Amazon AI Blog掲載日時: 2026年11月19日 10:00

SageMaker、FFTに対応 10万トークン超で正解率90%

LINEで送る
SageMaker、FFTに対応 10万トークン超で正解率90%

3つのポイント

  1. 何が起きたか

    Amazon SageMaker AI Serverless Model CustomizationがFull Fine-Tuning(FFT)に対応した。

  2. なぜ重要か

    GPUのプロビジョニングや分散学習の設定なしでこの精度を実現でき、インフラ管理なしで深いドメイン適応を進められる。ただしAWSは結果がハイパーパラメータの選択によって変わるとしている。

誰に効くかドメイン特化のファインチューニングジョブを実行する機械学習エンジニアやデータサイエンティストは、マネージドのサーバーレスインターフェースを通じて全パラメータ学習を利用できるようになる。一方、データセットが小規模または単純なチームにはパラメータ効率の良い手法で十分な場合もある。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

AWSの投稿は、Full Fine-Tuningとパラメータ効率の良い手法の選択を、データセットの拡大とともに鮮明になるトレードオフとして位置づけている。LoRAは事前学習済みの重みを凍結し、小さな低ランク行列を注入する手法で、AWSによれば数万件を超えるとランク不足自体が表現を制限するため精度が頭打ちになる。FFTは重み行列全体を更新し、AWSはデータ規模とともにその優位が広がると報告する。代償は忘却だ。FFTは全パラメータに触れるため、攻めた設定では一般知識が失われかねない。AWSはMMLUでこれを測定し、ウォームアップ5%、バッチサイズ8、学習率2e-5の設定が最もよく保持した。同じ実験でFFTはハイパーパラメータに敏感であることも判明し、学習率5e-5以上ではMATHスコアが2〜3%、MMLUが3.6%まで低下した。AWSはこの機能をサーバーレスと位置づけ、GPUのプロビジョニングもクラスタ構築も不要で、FFTとLoRAの切り替えはSageMaker Python SDKの設定を1つ変えるだけで済むとしている。

よくある質問
この実験でFFTとLoRAはどう違うのか。
FFTは全モデルパラメータを更新し、LoRAはごく一部のみを更新する。AWSによるとFFTの品質上の優位性はデータセット規模とともに拡大し、10万件超の例でLLM-as-Judgeの90.0%に達した。
AWSはどのベースモデルを試したのか。
AWSはQwen3-4B、DeepSeek-R1-1.5B、Nemotron-30B、Gemma-4-26Bで実験し、学習率、バッチサイズ、ウォームアップ比率、エポック数、データセット規模を変えて検証した。
FFTは常にLoRAに勝るのか。
いいえ。AWSはFFTが万能に優れているわけではないとしている。LLM-as-JudgeではLoRAがFFTをわずかに上回り(81.5%対79.5%)、MATHの完全一致では両者ともベースモデルを下回った。
Amazon AI Blog元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

次の記事へAnthropicがA種株の新規公開価格を決定