グラフ基盤モデルの進捗評価: 包括的ベンチマークと新たな洞察

要旨: グラフ基盤モデル（GFM）は、多様なグラフで事前学習を行い、さまざまな下流タスクへ適用できる転移可能な知識を獲得することを目指します。しかし、グラフにおけるドメインシフトは本質的に二次元です。グラフは何を記述するか（トピックドメイン）だけでなく、どのように表現されるか（フォーマットドメイン）にも依存して異なります。既存の多くのGFMベンチマークはトピックドメインのみを変化させるため、両次元を跨る知識移転の様子を見えにくくしています。我々は、トピックとフォーマットのギャップをGFMパイプライン全体で同時に評価する新たなベンチマークを提示する。それは、多ドメインの自己教師付き事前学習と少数ショットの下流適応を含み、急速に進化する領域における最近のGFMsを適時評価するものだ。我々のプロトコルは、4つの設定で制御された評価を可能にする：（i）多様なトピックとフォーマットで事前学習を行い、未知の下流データセットへ適応する；（ii）（i）と同じ事前学習を行い、既知のデータセットへ適応する；（iii）単一のトピックドメインで事前学習を行い、他のトピックへ適応する；（iv）基礎フォーマットで事前学習を行い、他のフォーマットへ適応する。この二軸の評価は、意味的一般化と表現のシフトへの頑健性を分離する。私たちは、7つのトピックドメインと6つのフォーマットドメインにまたがる33データセットで、8つの最先端GFMsを広範に評価し、新たな経験的観察と将来の研究に向けた実践的洞察を提示する。コードとデータは https://github.com/smufang/GFMBenchmark で公開されている。