ナレッジカプセル：LLM向けの構造化された非パラメトリック・メモリユニット

arXiv cs.CL / 2026/4/23

📰 ニュースDeveloper Stack & InfrastructureModels & Research

共有:

要点

この論文は、LLMが知識をパラメトリックな重みに格納するため更新が高コストになる一方、一般的なRAGは取得した知識が入力トークンとして注意機構の中で競合するため影響が間接的で不安定になりがちだと主張しています。
「Knowledge Capsules（ナレッジカプセル）」として、正規化された関係知識を表す構造化された非パラメトリック・メモリユニットを提案し、凍結した基盤モデルを使って文書コーパスから直接構築できるとしています。
知識をテキストとして文脈に後付けする代わりに、External Key Value Injection（KVI）フレームワークによりカプセルを注意計算に適したキー／バリュー表現へコンパイルし、注意計算へ直接参加させます。
著者らは、複数のQAベンチマークでRAGやGraphRAGより一貫して良い結果が得られたと報告しており、特に長いコンテキストやマルチホップ推論で安定性と精度が向上したとしています。
貢献は、知識統合を文脈レベルのトークン増強から、メモリレベルの相互作用へ移すことで、安定性と精度の向上を狙う点にあります。

Abstract

大規模言語モデル（LLM）は、知識をパラメトリックな重みに符号化するため、再学習なしで更新や拡張を行うことが高コストになります。検索拡張生成（RAG）は、取得したテキストを入力に追記することでこの制限を緩和しますが、外部知識が注意機構内のトークンとして競合する、純粋に文脈拡張によって動作します。その結果、その影響は間接的で、特に長いコンテキストやマルチホップ推論の場面では不安定になりがちです。そこで我々は、正規化された関係知識を表す、構造化された非パラメトリック・メモリ・ユニットであるKnowledge Capsulesを提案します。これは、凍結した基盤モデルを用いて文書コーパスから直接構築できます。知識をテキストとして注入する代わりに、カプセルを注意計算に適合するキー・バリュー表現へとコンパイルする、External Key Value Injection（KVI）フレームワークを導入します。これにより、外部知識がモデルの注意計算に直接参加できるようになります。知識統合をコンテキストレベルの拡張からメモリレベルの相互作用へと切り替えることで、提案するフレームワークは、複数のQAベンチマークにおいてRAGおよびGraphRAGを一貫して上回ります。さらに、パラメータ更新を必要とせず、長いコンテキストおよびマルチホップ推論において安定性と精度が向上します。