LangChainがOpenWikiを保険文書で検証

LangChainがOpenWikiを開発した当初の目的は、コーディングエージェントがタスクのたびにアーキテクチャやコードの挙動を再発見しなくて済むようにすることだった。wikiの各記述は、根拠となるソース行とそのハッシュに紐づく主張に支えられているため、その行が変わればハッシュも変わり、モデル呼び出しなしで影響を受ける主張を検出できる。同社がエージェント向けの永続メモリ層として位置づけたのは、この自己修正の仕組みだ。

実験で保険を選んだのは、規約と特約が頻繁に互いを参照・改定・上書きするためだ。コーパスは意図的に乱雑にされ、古い版、矛盾、間接的な参照チェーン、非常に長い文書が混在していた。LangChainによると、関連質問でのwikiの精度とコストの改善後も証拠の検索は不安定で、引用の重なりは単純な検索の0.74から関連質問では0.25に低下した。証拠グラフはこの差を埋めるために作られた。

LangChainはこの経済性を再利用の問題として捉えている。単純な検索では検索のみでも精度は同等で速く、取り込みと継続的な保守が検索の節約を上回る可能性がある。同社の説明では、複数のエージェントが同じ分断されたソースにまたがる質問に繰り返し答える場合に、このトレードオフが変わる。