Neo4jのLLMナレッジグラフ構築3方式を比較

検証ではLLMと分割方法を意図的に固定し、スキーマの与え方だけを変えた。固定長ではなくレシピ単位で分割するため、著者はMarkdownをH1見出しごとに区切るH1MarkdownTextSplitterを書き、カレーライスと肉じゃがの各節が1チャンクになるようにした。同じ2つのレシピには牛肉、玉ねぎ、にんじん、じゃがいもという共通食材があり、こうした共通リンクと調理順序が表現されるかを比較で確認できた。

結果は明確な傾向を示した。スキーマなしのFREEは同じ対象にほぼ重複するノード型や、似た意味の複数の関係型を生み、text-to-Cypherクエリでどれを選ぶか不確かになった。EXTRACTEDはLLMが文書全体から1つのスキーマを推定したため型名はより一貫したが、どの手順がどの食材を使うかや手順間の順序はモデル化されず、工程に関する問いには答えられないままだった。SCHEMAは人がノード型、関係型、Recipe-REQUIRES_INGREDIENT->IngredientやStep-NEXT_STEP->Stepといったパターンを定義したことで、著者は共通食材と手順順序をたどれた。それでも同じスキーマと同じ入力で繰り返し実行するとノード名が変わり、3モードすべてに共通する制約が残ることが示唆された。