大規模言語モデルによる頑健な関係推論のためのパスの抽出と追跡

Abstract

大規模言語モデル（LLM）は膨大な語義的知識を持つ一方で、複雑な推論課題、特に親族関係推論や空間推論のような関係推論問題ではしばしば苦手とします。本論文では、関係推論を解くための新しい枠組みであるPath-of-Thoughts（PoT）を提案します。PoTは課題を、3つの主要な段階であるグラフ抽出、パスの同定、推論に分解します。従来の手法とは異なり、PoTは文脈内において重要なエンティティ、関係、属性を特定する推論グラフを効率的に抽出します。続いて、PoTはそのグラフ内で、問いに関連する推論パスを同定し、考え得る解答に対する下流の推論を促進します。関係推論の4つのデータセットにまたがる実験評価により、PoTは微調整や大規模なLLM呼び出しを必要とせずに、最先端のベースラインを大幅に上回ることが示されました（最大21.3%）。さらに、従来の神経記号的手法とは異なり、PoTはグラフの合成的（構成的）性質を活用することで、LLMによる抽出エラーや入力の曖昧さに対する耐性が改善されています。