曲率ガイド付きアダプティブ・ルーティングによるグラフ表現学習のための幾何学的Mixture-of-Experts

arXiv cs.AI / 2026/3/25

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、リーマン多様体を複数用いてノード埋め込みを融合し、位相の異質性を扱うための、グラフ表現学習向けの幾何学的Mixture-of-Experts手法であるGeoMoEを提案する。
  • タスクのみのルーティングではなく、GeoMoEは幾何学的事前知識としてオリヴィエ=リッチ曲率(Ollivier-Ricci Curvature: ORC)を用い、グラフに適したゲーティングネットワークを導き、ノードごとの融合重みを生成する。
  • 専門家(エキスパート)ルーティングを、基礎となる幾何学に整合しつつより解釈可能にするための、曲率ガイド付きアラインメント損失を導入する。さらに幾何学的識別性を高めるために、曲率を考慮した対照(コントラスト)目的関数も提案する。
  • 6つのベンチマークデータセットでの実験により、GeoMoEが多様なグラフ種において最先端のベースラインを上回ることを示す。
  • 全体として、本研究は、曲率を通じて専門家同士の協調をグラフの内在的幾何学に直接結び付けることで、MoE型モデルにおける幾何学に根ざしたアダプティブ・ルーティングを前進させる。

概要: グラフ構造化データは一般に、複雑な位相的ヘテロジニティを示すため、単一のリーマン多様体内で正確にモデル化することが困難です。新たに登場してきた混合曲率(mixed-curvature)手法は、この多様性を捉えようとするものの、多くの場合、基礎となる幾何学的根拠に欠けた暗黙的でタスク駆動のルーティングに依存しています。この課題に対処するため、我々は、幾何学的混合専門家フレームワーク(Geometric Mixture-of-Experts; GeoMoE)を提案します。この枠組みは、多様なリーマン空間にまたがってノード表現を適応的に融合し、多尺度の位相構造をより適切に扱うことを目的としています。GeoMoEの中心では、Ollivier-Ricci 曲率(ORC)を固有の幾何学的事前知識として用い、専門家同士の協働を統率します。具体的には、曲率に基づくアラインメント(整合)損失によって正則化された、グラフを考慮したゲーティングネットワークを設計し、ノードごとの融合重みを割り当てます。これにより、解釈可能で幾何学的に整合したルーティングが保証されます。さらに、曲率を考慮した対照(コントラスト)目的関数を導入し、曲率整合性に基づいて正例・負例のペアを構成することで、幾何学的識別性を促進します。6つのベンチマークデータセットに対する大規模な実験の結果、GeoMoEは、多様なグラフ型において最先端のベースラインを上回ることが示されました。