合成グラフ事前分布からノード分類の事後予測分布を学習する

Abstract

グラフ機械学習における最も困難な問題の1つは、多様な性質を持つグラフ間での汎化です。グラフニューラルネットワーク（GNNs）は本質的な制約に直面しています。すなわち、各新しいグラフごとに別々に学習する必要があり、幅広いグラフデータセットにわたる普遍的な汎化が妨げられています。GNNsが直面する重要な課題は、各個別グラフに対してラベル付きの学習データに依存することにあります。この要件は、グラフに内在する異質性――データセット間でのホモフィリー（同質性）レベル、コミュニティ構造、特徴分布の違い――により、普遍的なノード分類の能力を阻害します。大規模な事前学習を多様なデータセットで行うことで、イン・コンテキスト学習を達成する大規模言語モデル（LLMs）の成功に触発されて、我々はNodePFNを提案します。NodePFNは、グラフ固有の学習なしに任意のグラフへと汎化可能な普遍的ノード分類手法です。NodePFNは、注意深く設計した事前分布（priors）から生成した数千の合成グラフのみで学習することで、事後予測分布（PPD）を学習します。我々の合成グラフ生成は、制御可能なホモフィリーを備えたランダムネットワークと、複雑な特徴-ラベル関係のための構造的因果モデルを用いることで、現実世界のグラフをカバーします。文脈-クエリ注意機構とローカルなメッセージパッシングを組み合わせたデュアルブランチのアーキテクチャを開発し、グラフに配慮したイン・コンテキスト学習を可能にします。23のベンチマークに対する大規模な評価により、単一の事前学習済みNodePFNが平均精度71.27を達成することが示されました。これらの結果は、合成事前分布から普遍的なグラフ学習パターンを効果的に学習できることを裏付け、ノード分類における新しい汎化のパラダイムを確立します。