スケッチとテキストの相乗効果：構造輪郭と記述属性を融合してきめ細かな画像検索を実現

要旨: 手描きスケッチまたはテキストによる記述を介したきめ細かな画像検索は、本質的なモダリティ間ギャップのため、依然として重要な課題である。手描きスケッチは複雑な構造的輪郭を捉える一方で、色や質感を欠いており、空間的輪郭を省いているにもかかわらずテキストはそれらを効果的に提供する。これらのモダリティが相補的であることに動機づけられ、Sketch and Text Based Image Retrieval（STBIR）フレームワークを提案する。テキストから得られる豊かな色および質感の手がかりと、スケッチが提供する構造的な輪郭を相乗的に統合することで、STBIRはきめ細かな検索において優れた性能を達成する。まず、品質が異なる問い合わせを扱う際のモデルの頑健性を高めるために、カリキュラム学習に駆動された頑健性強化モジュールを提案する。次に、カテゴリー知識に基づく特徴空間最適化モジュールを導入し、それによりモデルの表現力を大幅に向上させる。最後に、クロスモーダルな特徴アラインメントの課題を効果的に緩和するためのマルチステージのクロスモーダル特徴アラインメント機構を設計する。さらに、提案するフレームワークの有効性を厳密に検証し、後続の関連研究のための参照となるデータサポートを提供することを目的として、きめ細かなSTBIRベンチマークデータセットを構築する。大規模な実験の結果、提案するSTBIRフレームワークは最先端の手法に比べて大幅に優れていることが示される。