埋め込み空間におけるマルチホップ推論と検索: 知識を活用した大規模言語モデル

要約: 大規模言語モデル（LLMs）がサイズを拡大し続ける中、複雑なタスクに取り組む能力は著しく向上しました。しかし、幻覚（ハルシネーション）や最新の知識の欠如といった問題は、依然として解決されていません。現実世界の知識の記号的表現として機能する知識グラフ（KG）は、推論を強化する信頼できる情報源を提供します。したがって、KGの検索をLLMsに組み込むことで、信頼できる知識を提供し、推論を強化できます。それにもかかわらず、基盤となる知識グラフの理解が限られているため、複数の解釈があり得るクエリにLLMsが苦戦することがあります。さらに、知識グラフの不完全さとノイズにより、検索の失敗が生じることがあります。これらの課題に対処するために、埋め込みベースの検索推論フレームワーク EMBRAG を提案します。このアプローチでは、モデルは入力クエリに基づいて、知識グラフに基づく複数の論理規則を最初に生成します。これらの規則は、埋め込み空間での推論に適用され、知識グラフに導かれることで、より堅牢で正確な推論を保証します。リランキングモデルがこれらの規則をさらに解釈し、結果を洗練させます。2つのベンチマークKGQAデータセットを用いた広範な実験により、私たちのアプローチがKG推論タスクにおいて新たな最先端の性能を達成することを示しています。