Excite, Attend and Segment (EASe): 特徴キャリブレーションと自己教師ありアップサンプリングによるドメイン非依存の微細なマスク発見

Abstract

教師なしセグメンテーション手法は、目立つ物体の発見を改善するために基盤モデル（FM）を活用することがますます増えています。しかし、これらの手法は複雑で多成分の形態（モルフォロジー）が存在するシーンではしばしば機能不全に陥り、そのような場合には微細な構造情報が不可欠です。最先端の教師なしセグメンテーションの多くのパイプラインは、粗いパッチ単位の表現を利用するマスク発見アプローチに依存しています。これらの粗い表現は、本質的に、そのような複雑な形態を解決するために必要な微細な詳細を抑制してしまいます。この制約を克服するために、私たちは、困難な現実世界のシーンにおいて微細なマスクを容易に発見できる、教師なし・ドメイン非依存のセマンティックセグメンテーションフレームワークである Excite, Attend and Segment（EASe）を提案します。EASe は、新しい Semantic-Aware Upsampling with Channel Excitation（SAUCE）を用いて、低解像度の FM 特徴チャネルを励起し、選択的なキャリブレーションを行います。また、空間的に符号化された画像特徴と FM 特徴の間で注意（アテンション）を適用し、フル解像度のセマンティック表現を復元します。最後に、EASe は、新しいトレーニング不要の Cue-Attentive Feature Aggregator（CAFE）によって集約された特徴を、多粒度のマスクへと分割します。CAFE は、セマンティックなグルーピングの手がかりとして SAUCE の注意スコアを活用します。EASe は、SAUCE および CAFE とともに、ピクセルレベルの特徴表現上で直接動作することで、正確で微細な密なセマンティックマスク発見を可能にします。評価の結果、EASe は複雑な形態を扱う主要な標準ベンチマークおよび多様なデータセットにおいて、これまでの最先端（SOTA）を上回る性能を示しました。コードは https://ease-project.github.io で利用可能です