TMTE：タスクを意識したモダリティとトポロジーの共同進化による効果的マルチモーダルグラフ学習

Abstract

マルチモーダル属性付きグラフ（MAG）は、マルチモーダル・グラフ学習（MGL）にとって基礎となるデータ構造であり、グラフ中心型およびモダリティ中心型の両方のタスクを可能にします。しかしながら、我々の実証的分析によれば、実世界のMAGには、ノイズを含む相互作用、欠落した接続、タスク非依存な関係構造といった、内在的なトポロジー品質の制約があります。そのため、一般的な関係から導出された単一のグラフが、さまざまな下流タスクに対して普遍的に最適である可能性は低いです。この課題に対処するため、我々は、グラフのトポロジーとマルチモーダル表現をターゲットタスクに向けて共同かつ反復的に最適化する新しいMGLフレームワークである、タスク対応型モダリティ・トポロジー共同進化（TMTE）を提案します。TMTEは、モダリティとトポロジーの双方向の結合に動機づけられています。すなわち、マルチモーダル属性は関係構造を誘導し、一方でグラフのトポロジーはモダリティ表現を形作る、という関係です。具体的には、TMTEは、トポロジーの進化を、アンカーに基づく近似を伴うモダリティ埋め込み上でのマルチパースペクティブなメトリック学習として捉え、さらにモダリティの進化を、クロスモーダルアラインメントと滑らかさ正則化を組み合わせた融合として定式化し、クローズドループのタスク対応型共同進化プロセスを実現します。9つのMAGデータセットと、6つのグラフ中心型およびモダリティ中心型タスクにまたがる1つの非グラフ型マルチモーダルデータセットに対する大規模な実験の結果、TMTEは一貫して先端（state-of-the-art）の性能を達成することが示されました。コードは https://anonymous.4open.science/r/TMTE-1873 で利用可能です。