適応的ネガティブ・スケジューリングによるグラフ対比学習

Abstract

グラフコントラスト学習（GCL）は、計算知能における自己教師あり表現学習の中核的パラダイムとなっており、レコメンデーション、異常検知、パーソナライゼーションにまで幅広い応用があります。既存手法の重要な限界は、静的なネガティブサンプリングに依存していることであり、学習中におけるネガティブの動的な有益性と計算コストを考慮できていません。私たちはAdNGCLを提案します。これは、難しさを考慮したスケジューラ（HANS）を備えた適応的ネガティブスケジューリングの枠組みであり、ネガティブ選択を、ハード・中間・イージーの各階層にまたがる、損失ゲート付きかつ予算制約付きのプロセスとして定式化します。スケジューラは、コントラスト損失のトレンドに基づいて、グローバルおよびカテゴリ別の両方の予算のもとでステップサイズを動的に調整します。また、多様性を維持するためにサンプルを定期的に更新しつつ、計算制約を超えないようにします。9つのベンチマークグラフデータセットでの実験により、AdNGCLが一貫して最先端性能を前進させることが示されます。7つのデータセットでは最良の精度を達成し、残り2つでは2番目の精度となります。さらに、計算コストを明示的に制御できる点も提供します。これらの結果は、予算を意識した損失に敏感なスケジューリングが、創発する計算知能アプリケーションにおける表現学習の頑健性と効率性を改善するための一般的戦略として価値があることを示しています。