FBCIR: 構成画像検索におけるクロスモーダルフォーカスのバランス

構成画像検索（CIR）には、視覚的内容とテキスト-画像入力ペアに含まれる意味的修正を共同で推論するための多モーダルモデルが必要である。現在のCIRモデルは一般的なベンチマークケースで高い性能を達成している一方で、ネガティブ候補がクエリ画像やテキストと意味的に整合するようなより挑戦的な状況では、正確性が低下することが多い。本稿では、この劣化を、モデルがあるモダリティに過度に注意を払い、もう一方を無視するフォーカスの不均衡に起因すると説明する。この主張を検証するために、FBCIRを提案する。FBCIRは、モデルの検索決定に対して最も重要な視覚的およびテキスト入力要素を特定する、マルチモーダルなフォーカス解釈手法である。FBCIRを用いて、フォーカスの不均衡は既存のCIRモデルで蔓延しており、特にハードネガティブ設定下で顕著であることを報告する。分析に基づき、既存のCIRデータセットを、バランスの取れたクロスモーダル推論を促すよう設計されたキュレーション済みのハードネガティブを含むデータ拡張ワークフローをさらに提案する。複数のCIRモデルにわたる広範な実験は、提案された拡張が難しいケースで一貫して性能を改善することを示しつつ、標準ベンチマークでの能力を維持する。総じて、我々の解釈手法とデータ拡張ワークフローは、CIRモデルの診断と頑健性の向上に新しい視点を提供する。