Exabaseが最難関AI記憶ベンチマークで最高スコア、小型モデルで達成

Exabaseの創業者Johnny氏は、AI記憶ベンチマーク「BEAM」で新たな最高スコアを達成したと発表しました。同社の独自システム「M-1」は、100Kトークンで76.9%、1Mトークンで75.0%、10Mトークンで68.0%を記録しました。これまでの最高成績はHindsightで73.4%（100K）、73.9%（1M）、64.1%（10M）であり、M-1はすべてのスケールでこれを上回っています。

とりわけ注目すべきは、M-1が小型モデル「Gemini 3 Flash」を使用して成果を達成した点です。従来の最高成績システムであるHindsightとHonchoは、いずれもより大型の「Gemini 3 Pro」に依存していました。10Mトークンのスケールは年間の長日常対話に相当し、この規模ではモデルのコンテキストウィンドウだけでは対応不可能で、真の記憶機構が求められます。

BEAMベンチマークは矛盾解決、イベント順序付け、指示遵守を含む10の記憶能力を評価します。M-1は好みに従う能力（preference following）、指示遵守、要約、棄却判断（abstention）など複数の能力で100Kから10Mスケールでも90%以上を維持しました。一方、多セッション推論では100Kで44.7%から10Mでは9.6%へと大幅に低下し、これは記憶システム全般の課題として認識されています。

M-1はクエリあたりの消費トークン数で次点システムより約20%少なく、効率性の面でも優位性を示しています。ExabaseはまたLongMemEvalでも96.4%を記録し、115Kから10Mトークンのすべてのスケールで両主要記憶ベンチマークのSOTA（最高成績）を保有する唯一のシステムになったと述べています。詳細な方法論と結果は研究論文で公開されています。

BEAMは従来のベンチマークでカバーしていない矛盾解決やイベント順序付けといった能力を評価する、最難関の記憶ベンチマークです。10Mトークンというスケールでは、モデルのコンテキストウィンドウ詰め込み（context stuffing）は不可能であり、根本的に機能する記憶機構が不可欠です。ExabaseはこのスケールでHindsightに3.9ポイント、Honcho に27.4ポイント以上の差をつけ、特にスケール拡大時の効率性が優れていることを示しました。同時にM-1は、大型モデル（Gemini 3 Pro）を使用していた従来最高成績者を、小型モデル（Gemini 3 Flash）で上回ったことで、モデルサイズと記憶能力の関係について新たな知見を提供しています。一方、多セッション推論での大幅な性能低下は、記憶システム全体の今後の課題と指摘されています。

まだコメントがありません。最初のコメントを投稿しましょう！