オープンソースAI

主要ニュース

1. 1

   DPO・RLHFの学習にAIの過度な特徴学習の課題、タイ学習で改善

   ICML論文で、DPO（直接選好最適化）とRLHF（強化学習）はAIが訓練データ上で価値と相関する全ての特徴を重視するようになる結果、訓練分布外での誤判断につながることを理論と実験で示しました。この課題は訓練データの誤りがなくても、データが無限でも生じます。 多くの企業がDPOやRLHFを使ってAIを育成していますが、この研究はそうした手法に潜在的な過度な特徴学習の課題があることを指摘しており、実運用のAIの堅牢性に関する重要な考慮事項となる可能性があります。

   対策としてタイ学習（等しい価値を持つアクション対を集め、ランダムまたは双方向ラベルで訓練する手法）を提案し、実験ではこの手法がAIの虚偽的な特徴への依存を減らし、分布外での汎化性能を改善することが示されました。

2. 2

   Amazon Nova、画像のPII自動検出・非表示化 合規性強化

   Amazon が、基礎モデル「Nova 2 Lite」を中心に、画像から個人識別情報（PII）を自動検出・非表示化するパイプラインを発表しました。名前、ID番号、顔、指紋など、テキスト・画像双方の情報を検出し、段階的に処理します。 画像内のPIIは予期しない場所に出現し（反射、部分的な文字、極端な角度のID証など）、単一目的のマスキングツールでは対応困難です。組織がGDPRやPCI DSSなど規制に適合した形でデータを共有・処理する際、このような複雑なケースに対応できる仕組みが必要とみられます。

   パイプラインはMeta のSegment Anything Model（SAM 3）をAmazon SageMaker AIに展開し、Amazon Textract（光学文字認識）と組み合わせ、Nova 2 Liteが全体を統括します。一括処理・バッチ処理のシナリオで高い非表示化精度が必要な場合に適しているとされています。

3. 3

   飲み物選びのAIスキル、オープンソース化 好みを学ぶソムリエ機能

   開発者がdrinks-sommelierというオープンソースのAIスキルを公開しました。ユーザーが好みを教えると、AIが店頭やメニューの写真から商品を検索し、0～100%のスコアで推奨ワインやビールを提案する仕組みです。 このスキルは複数のAIエージェント（OpenClaw、Hermes Agent、OpenCode、Claude Code、Cursorなど）に対応しており、AIを活用する開発者やエージェントユーザーが専門的な推奨機能を簡単に統合できる環境が広がることを意味します。

   システムはウェブから最新情報を取得して推奨するため造データがなく、ユーザーからのフィードバックを繰り返し受けることで推奨精度が向上する設計になっています。

4. 4

   オープンソースAIの記憶システム TRACE、ベンチマークで82.5%達成

   開発者が TRACE という記憶管理システムを作成し、会話履歴をトピックツリーで階層化して整理する方式を採用しました。MemoryAgentBench の EventQA タスクで、gpt-oss-20B を使用した場合 82.5% の F1 スコアを達成しています。 既存システム（Mem0 は GPT-4o-mini で 37.5%、MemGPT/Letta は 26% のスコア）と比較して大幅に高い精度を示しており、オープンソース LLM でも有効な記憶機構が実現できることを示唆しています。エージェント（自分で判断して作業するAI）がより正確に過去の情報を取り出せるようになり、実務的な応用の可能性が広がります。

   TRACE は pip install trace-memory でインストール可能な Python パッケージとして公開されています。gpt-oss-120B を使用した場合のスコアは 83.8% となっています。

5. 5

   Reddit求む、赤チームテスト用の優秀なAIモデルと公開データセット

   Reddit上で、LLMアプリケーション（AI文章生成サービス）とAIエージェント（自律的に判断して作業するAI）のセキュリティ評価を目的とした赤チームテスト（攻撃シミュレーション）フレームワークを開発している開発者が、最適なモデル選定と公開データセット活用について意見を求めました。 毒性テスト、プロンプト注入（AIシステムへの不正な指示）、SQLインジェクション、ジェイルブレイク（安全装置の回避）など、複数の攻撃タイプへの耐性を検証することは、AIシステムの本番利用の前に欠かせない課題です。既存フレームワークがLLMに依存する中で、どのモデルが現実的で難度の高い攻撃を生成できるかという問い自体が、業界内でまだ標準化されていない可能性を示唆しています。

   開発者は、閉鎖型（企業が提供する）・オープンソース型双方のモデル推奨、および手作業で高品質な攻撃シナリオを集めた「ゴールデン」基準データセットの存在と利用可能性を探索しようとしています。

6. 6

   小型AI、内部信号で誤答を自動検出 LoRAアダプタで精度向上

   Qwen3.5-4Bという小型AI向けに、10MBのLoRAアダプタを開発しました。AIの内部活動パターンを読み取り、回答の信頼度を判定し、直接回答するか、ウェブ検索や文書取得を使うか自動で振り分けます。ローカル環境で動作します。 小型モデルは通常、自分がどの程度確信しているかをうまく言語化できず、すべての質問に自信ありと答える傾向があります。本手法は内部信号を直接読み取ることで、この課題を解決し、エラー検出能力が従来比で向上します。

   開発者が実施した試験では、このゲート機能が従来モデルより多くエラーを捉え、そのうち87%が実際の誤答だったと報告されています。Apple Silicon / MLXおよびllama.cpp / OllamaのGGUF形式で利用可能です。