大規模言語モデルと小規模言語モデルを組み合わせた知識ベース完成と質問応答のためのジョイント知識ベース（Joint Knowledge Base Completion and Question Answering）

要旨: 知識ベース（KB）はさまざまなアプリケーションにおいて重要な役割を果たします。KB関連の2つの代表的なタスクとして、知識ベース補完（KBC）と知識ベース質問応答（KBQA）は互いに密接に関連しており、本質的に補完的です。したがって、これらを相互に強化し合うために、KBCとKBQAの共同タスクを解くことは有益です。しかし、既存の研究は通常、小型言語モデル（SLM）により両者を共同で強化することに依存しており、大規模言語モデル（LLM）の強力な推論能力は無視されています。本論文では、LLMとSLMの強みを組み合わせることで、これら2つのタスクを反復的な形で相互に強化し合える新しい枠組みJCQLを提案します。KBCがKBQAを強化できるようにするために、LLMエージェントベースのKBQAモデルの推論経路へ、SLMで訓練したKBCモデルをエージェントの行動として組み込みます。これにより、KBQAにおけるLLMの幻覚（hallucination）および高い計算コストの問題を緩和します。KBQAがKBCを強化できるようにするために、KBQAの推論経路を補助的な訓練データとして活用しながら、KBCモデルを段階的に微調整し、KBCにおけるSLMの能力を向上させます。2つの公開ベンチマークデータセットに対する大規模な実験により、JCQLがKBCタスクおよびKBQAタスクの双方において、すべてのベースラインを上回ることを示します。