メモリ上書きの正答率16.67%、追記型は100%

元論文「Is Complex Agentic Memory Always Needed? Naive RAG Is Stronger Than We Thought」（arXiv:2610.30755）は、単純な生ログ検索のベースラインが7つのモデル設定のうち6つで複雑なメモリ手法7種を上回ると主張した。今回の実験はその主張を縮小版で確かめるもので、都市・職業・ペットなどの事実が時間とともに変わる3つの架空の会話ログを用意した。即座に得られた結果は明確な分裂だった。論文の破壊的な部分は再現したが、看板の優位性は再現しなかった。

転機はローカルGPUでの追加テストから来た。TF-IDFだけではRaw-RAGは全体29.17%で、構造化メモリに大きく劣った。密埋め込みに替えると62.50%になり、クロスエンコーダーのリランカーを加えると83.33%まで上がってAppendOnlyMemoryと同値になった。以前の差は主に検索の弱さによるもので、生ログの性質ではないことを示唆する。

著者は限界にも注意を促している。残る4件の誤りのうち2件はAppendOnlyMemoryと共通で、単純な正規表現抽出が捉えられなかった表現に由来する。raw-RAGが本当に構造化メモリを上回るか検証するには、論文の長い会話ベンチマークと回答を合成する読者LLMが必要になるだろうが、今回は用意できなかった。