何が起きたか
Qwen/Qwen2.5-1.5B-InstructをベースにLoRAで日本語データを追加学習。r=8、エポック数3、バッチサイズ2で回答部分のみ損失計算した。
なぜ重要か
小規模データでは回答形式の統一と過学習の確認が重要になる。
こういう要約が、毎朝あなたのメールに届きます。
フルファインチューニングはGPUメモリと計算時間の負担が大きいため、LoRAでベースモデルの重みを固定し少数の追加パラメータだけを学習する手法が選ばれた。著者はQwen/Qwen2.5-1.5B-Instructを使い、r=8から試すなど小規模構成で検証している。学習では回答部分だけを損失計算の対象にし、過学習を避けるため学習率を高くしすぎないよう注意している。評価では学習データと同じ質問だけでなく、表現を変えた類似質問や学習データにない一般的な質問も用意し、実用性を確認する。小規模データでは重複や矛盾した回答の影響が大きいため、データを増やすより形式を揃えることが重要だとしている。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
GoogleはPyTorch互換フレームワークTorchTPUを公開した
E-Commerce Benchで18のAIモデルが最大4店舗を365日運営し、18のツールで仕入れ・価格・配送・返品・資金を処理
ITmediaのAI Plusが、Gemini Notebook（旧NotebookLM）のStudio機能の活用ガイド14ページを公開
ALTK-Evolveは接客エージェントの試行から成功と失敗を短い行動規則にまとめ、モデルの重みを変えずに次の実行時の指示へ追加する
セキュリティ人材採用を専門とするコンサルタントは、求職者はChatGPT PlusかClaude Proのどちらか1つを契約して使い切り、不足したらもう一方を追加すべきだと述べた
TypeSafe AIのJevを6回調整後、著者が100件のリクエストでgrepを使うClaude（Opus）と比較したところ、Opusはノートが必要な77件中52件を正解し、Jevは24件だった
