単純検索が高性能メモリの6/7設定で優位

この論文が狙うのは、会話エージェント設計で一般的になったパターンだ。モデルの上に専用の記憶モジュール、書き込み操作、検索ポリシーを重ねる。著者らはその前提を直接検証するため、あえて単純なベースライン——生の会話履歴に対する密検索、名付けてRaw-RAG——を4つのベンチマークでより精巧なエージェント型記憶システムと比較した。

結果として、単純なベースラインが7つのベンチマーク・モデル設定中6つで0.13～5.53ポイントの差をつけて先行した。速度比較も同じ方向を指す。Raw-RAGはAdd-plus-Searchを次善システムより5.1倍、EverMemOSより30.4倍速く完了した。著者らの結論は、評価対象の会話記憶タスクに記憶システムの複雑さは不要というものだ。

ただし結果には留保もある。論文の範囲は評価対象のタスクに限られ、他の記憶ワークロードに当てはまるかは本稿では確立されていない。それでも差と速度差から、エージェント開発者は自らの環境で照合したくなる結果だろう。