単一トークンだけで十分？ LLMベースのGraphQAのためのグラフ・プーリング・トークン

Abstract

グラフニューラルネットワーク（GNN）と大規模言語モデル（LLM）の統合は、グラフ質問応答（GraphQA）の有望なパラダイムとして注目を集めている。しかし、複雑な構造情報をLLMの潜在空間へ効果的に符号化する方法は、依然として未解決の課題である。G-Retrieverのような現在の最先端アーキテクチャは、通常のGNNと、グラフ全体の部分構造を単一トークンに圧縮するための過度に強い平均プーリングに依存することが多く、これが重大な情報ボトルネックを生み出している。本研究では、このボトルネックを緩和するために、次の2つの直交する戦略を検討する。（1）マルチトークンプーリングによってグラフからLLMへのインタフェースの帯域幅を増やすこと、（2）グローバル注意機構によってグラフエンコーダの意味的品質を高めること。Top-k、SAGPool、DiffPool、MinCutPool、Virtual Node Pooling（VNPool）を含む一連の階層的プルーニングおよびクラスタリングベースのプーリング演算子を評価し、グラフデータを複数の学習可能トークンへ射影する。我々の実験では、プーリングがソフトプロンプトチューニング中に大きな不安定性を導入する一方で、低ランク適応（LoRA）の適用が特定の階層的射影（とりわけVNPoolおよびプルーニング手法）を効果的に安定化することが示される。ただし、密なクラスタリング演算子は依然として難しい。この安定化により、圧縮表現がフルグラフのベースラインと競り合えることがわかる（WebQSPで約73%のHit@1を達成）。概念的には、VNPoolの実装を備えたGraph Transformerが、単層のPerceiver IOエンコーダとして構造的に機能することを示す。最後に、FandE（Features and Edges）スコアを生成型GraphQAドメインへ適応する。我々の分析によれば、GraphQAベンチマークは表現の飽和に悩まされており、目標となる答えがしばしば孤立したノード特徴と高い相関を持つ。実装はhttps://github.com/Agrover112/G-Retriever/tree/all_good/ で公開されている。