From Moments to Models: Graphon-Mixture Learning for Mixup and Contrastive Learning

Abstract

実世界のグラフデータセットは、多くの場合、複数の母集団の混合として生じます。そこでは、グラフは複数の異なる基となる分布によって生成されます。本研究では、グラフデータをグラフォンで表される確率的なグラフ生成モデルの混合として明示的にモデル化する統一的な枠組みを提案します。これらのグラフォンを特徴付け、推定するために、同一の基となるモデルから生成されたグラフをクラスタリングする際、グラフモーメント（モチーフ密度）を活用します。さらに、構造的に類似したグラフォンからサンプリングされたグラフは、モチーフ密度が高い確率で類似することを示す、より厳密な上界を導出する新しい理論的保証を確立します。この結果により、グラフォン混合の成分を原理に基づいて推定できるようになります。推定されたグラフォン混合成分を取り込むことで、広く用いられている2つの下流パラダイム、すなわちmixupによるグラフデータ拡張と、グラフ対照学習を改善できることを示します。基となる生成モデルに応じてこれらの手法を条件付けることで、グラフォン混合に配慮したmixup（GMAM）と、モデルに配慮したグラフ対照学習（MGCL）を開発します。シミュレーションおよび実世界のデータセットの両方に対する大規模な実験により、強い実証的性能が示されます。教師あり学習では、GMAMは既存の拡張戦略を上回り、7つのデータセット中6つで新たな最先端の精度を達成します。教師なし学習では、MGCLは7つのベンチマークデータセット全体で競争力のある性能を示し、総合平均順位において最も低い順位を達成します。