ReLIC-SGG：オープンボキャブラリ場面グラフ生成のための関係ラティス補完

概要: オープン・ボキャブラリ・シーングラフ生成（SGG）は、固定された述語集合を超えた柔軟な関係フレーズによって視覚シーンを記述することを目的としています。既存手法は通常、注釈付きの三つ組を正例として扱い、注釈のない物体ペアの関係をすべて負例として扱います。しかし、シーングラフの注釈は本質的に不完全です。多くの有効な関係が欠落しており、同じ相互作用は異なる粒度で記述され得ます。例えば、\textit{on}、\textit{standing on}、\textit{resting on}、\textit{supported by} のようにです。この問題は、関係空間がはるかに大きいオープン・ボキャブラリSGGではさらに深刻になります。そこで本研究では、\textbf{ReLIC-SGG} を提案します。これは、関係の不完全性を意識した枠組みであり、注釈のない関係を確定的な負例ではなく潜在変数として扱います。ReLIC-SGG は、オープン・ボキャブラリ述語間の類似性・含意・矛盾をモデル化するためのセマンティック関係格子（リテラル）を構築し、それを用いて、視覚と言語の適合性、グラフの文脈、そしてセマンティックな整合性から欠落した正の関係を推論します。さらに、正例・未ラベル学習（positive-unlabeled）に基づく学習目的により、誤った負例の監督を低減し、格子に導かれたデコードによってコンパクトで意味的に整合したシーングラフを生成します。従来型、オープン・ボキャブラリ型、パンオプティック型のSGGベンチマークでの実験により、ReLIC-SGG が稀な述語や未見の述語の認識を改善し、欠落した関係をより適切に復元できることが示されます。