MCoT-MVS: 複合画像検索のための多層ビジョン選択を多モーダル思考過程推論で実現する

要旨：組み合わせ型画像検索（CIR）は、参照画像と修正されたテキストに基づいてターゲット画像を検索することを目的とします。
しかし、既存の手法は、テキスト修正プロンプトの下でユーザーの意図を最も反映する参照画像から正しい意味的手掛かりを抽出するのにしばしば苦労し、無関係な視覚ノイズによる干渉が生じます。
本論文では、CIRのための新規な Multi-level Vision Selection by Multi-modal Chain-of-Thought Reasoning (MCoT-MVS) を提案します。これは、推論手掛かりに導かれた、注意機能を備えた多段階の視覚特徴を統合します。
具体的には、MLLMを活用して多模態の複合入力に対してチェーン・オブ・ソート推論を行い、保持テキスト、削除テキスト、およびターゲット推定テキストを生成します。
これらのテキスト手掛かりは、その後、参照画像から判別可能なパッチレベルおよびインスタンスレベルの意味情報を選択的に抽出する2つの参照視覚アテンション選択モジュールを導きます。
最後に、これらの多段階の視覚手掛かりを修正テキストおよび想定ターゲットの説明と効果的に融合するために、重み付き階層結合モジュールを設計し、組み合わせられたクエリを統一埋め込み空間内でターゲット画像と整合させます。
広範な実験は、CIRRとFashionIQという2つのCIRベンチマークに対するもので、提案手法が既存の手法を一貫して上回り、新たな最先端性能を達成することを示しています。コードと学習済みモデルは公開されています。