単一のハブ文がCLIPを壊す：hubnessを用いたマルチモーダルエンコーダの脆弱性の特定

Abstract

ハブネス問題（ハブ埋め込みが多くの無関係な例に近い状態になる）は、高次元の埋め込み空間でしばしば発生し、情報検索や自動評価指標などの目的に対して実務上の脅威となり得ます。特に、文字列マッチングのような直接の比較によっては、テキストと画像の間のクロスモーダル類似度を計算できないため、異なるモダリティを共有空間へ投影するクロスモーダルエンコーダは、さまざまなクロスモーダル応用に役立ちます。そのため、ハブの存在は実務上の脅威になり得ます。クロスモーダルエンコーダの脆弱性を明らかにするために、本研究ではハブ埋め込みと、それに対応するハブテキストを特定する手法を提案します。MSCOCOおよびnocapsにおける画像キャプション評価、ならびにMSCOCOおよびFlickr30kにおける画像からテキストへの検索タスクに関する実験により、本手法は、多くの画像において、人間が書いた参照キャプションと比べて不合理にも同等またはそれ以上の類似度スコアを達成する単一のハブテキストを特定できることが示され、それによってクロスモーダルエンコーダに内在する脆弱性が明らかになります。