融合と独立の協調：ハイパーコンプレックス駆動によるロバストなマルチモーダル知識グラフ補完

要旨: マルチモーダル知識グラフ補完（MMKGC）は、構造的な関係と、エンティティの多様なモダリティ情報の両方を活用することで、マルチモーダル知識グラフ（MMKG）における欠落事実を発見することを目的とする。既存のMMKGC手法は、2つのマルチモーダル・パラダイム、すなわち融合ベースとアンサンブルベースに従っている。融合ベースの手法は固定の融合戦略を用いるため、必然的にモダリティ固有の情報の損失が生じ、さらに文脈に応じてモダリティの関連度が変化する状況に適応する柔軟性が不足する。これに対し、アンサンブルベースの手法は専用のサブモデルによってモダリティの独立性を保持する一方で、モダリティ間の、文脈に依存した微妙な意味的な相互作用を捉えることが難しい。これら2つの制約を克服するために、本研究では、新しいMMKGC手法であるM-Hyperを提案する。本手法は、融合された表現と独立したモダリティ表現が共存し、協調できるようにすることを実現する。提案手法は両パラダイムの強みを統合し、モダリティ間の効果的な相互作用を可能にしつつ、モダリティ固有の情報を維持する。\`quaternion\`（四元数）代数に着想を得て、その4つの直交基底を用いて複数の独立したモダリティを表現し、それらの間のペアワイズ相互作用を効率的にモデル化するためにハミルトン積を用いる。具体的には、きめ細かなエンティティ表現因子分解（FERF）モジュールと、堅牢な関係認識モダリティ融合（R2MF）モジュールを導入し、3つの独立したモダリティと1つの融合モダリティに対して堅牢な表現を得る。次に、その結果得られた4つのモダリティ表現を、双四元数（四元数の超複素拡張）の4つの直交基底に写像することで、包括的なモダリティ相互作用を行う。大規模な実験により、最先端の性能、堅牢性、および計算効率の高さが示される。