モダリティが記憶する：マルチモーダル知識グラフの継続学習
arXiv cs.CL / 2026/4/6
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、時間の経過とともに新しいエンティティ・関係・マルチモーダルな証拠が追加されて変化する現実のMMKG（マルチモーダル知識グラフ）に対処するための、継続的マルチモーダル知識グラフ推論（CMMKGR）を研究する。
- それは、歴史的なグラフに対する構造的なつながり方と、マルチモーダル適合度（互換性）への一致度の両方に基づいて新しいトリプルを段階的に学習するための、マルチモーダル・構造協調カリキュラムを用いるMRCKGを提案する。
- MRCKGは、壊滅的忘却を低減することを目的として、エンティティ表現を安定化し、関係の意味的整合性を維持し、モダリティをアンカー（基準づけ）することで、クロスモーダル知識保存メカニズムを追加する。
- さらに本手法は、マルチモーダル重要度サンプリングと表現アラインメントによって、過去に学習した知識をマルチモーダルの観点から強化するための、2段階の最適化プロセスを伴うマルチモーダル対比リプレイ方式を用いる。
- 複数のデータセットにわたる実験の結果、MRCKGは以前に学習したマルチモーダル知識を保持するだけでなく、新たに追加された知識の学習を大幅に改善することが示される。
