要旨: 大規模言語モデル（LLM）における推論の幻覚は、多くの場合、文脈や与えられた状況、あるいは基礎となる事実知識のいずれかに違反する、流暢ではあるが裏づけのない結論として現れます。このような失敗は広く観測されているにもかかわらず、デコーダのみのTransformerがそれを生成するメカニズムは十分に理解されていません。そこで本研究では、次トークン予測を、基盤となるグラフ上でのグラフ探索プロセスとしてモデル化します。ここで、実体はノードに対応し、学習された遷移がエッジを形成します。この観点から見ると、文脈に基づく推論は、サンプリングされたサブグラフに対する制約付き探索（内在的推論）であり、文脈なしの問いは、基盤グラフ中の記憶された構造に依存します（外在的推論）。本研究では、推論の幻覚が次の2つの根本的メカニズムから生じることを示します。
\textbf{Path Reuse（パス再利用）}: 初期学習の段階で、記憶された知識が文脈上の制約を上書きしてしまう。
\textbf{Path Compression（パス圧縮）}: よくたどられる多段のパスが、後の学習段階でショートカットのエッジへと崩れてしまう。
これらのメカニズムは、LLMにおける推論の幻覚のための統一的な説明を与えると同時に、下流アプリケーションで観測されてきたよく知られた挙動とも結びつけられます。
幻覚はいつ生じるのか？経路再利用と経路圧縮の進化を捉えるグラフ視点
arXiv cs.AI / 2026/4/7
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、デコーダのみのトランスフォーマーにおける推論の幻覚を、次トークン予測を、学習された実体遷移グラフ上でのグラフ探索として捉え直すことで分析する。
- 推論には2つのモードがあることを区別する。すなわち、文脈に依存した推論はサンプリングされた部分グラフ上での制約付き探索として捉えられ、文脈非依存の推論は、その基底となるグラフにおける記憶された構造への依存として捉えられる。
- 著者らは、幻覚の背後にある2つの中核的メカニズムを特定する。Path Reuse（経路再利用）とは、学習の初期段階で文脈上の制約よりも記憶された知識が優先されることを指す。Path Compression（経路圧縮）とは、頻出する複数ステップの経路が、後の学習段階でショートカット辺へと圧縮されることを指す。
- これらのメカニズムを統一的に説明することで、本研究は、幻覚が流暢でありながら、提示された文脈とも事実知識とも整合しない理由を説明する。
- さらに、本研究の提案するグラフ理論的な学習ダイナミクスは、下流のLLMアプリケーションで報告されている挙動と結びつけられ、特定のモデリング枠組みにとどまらないより広い関連性が示唆される。
