ActiveFreq: インタラクティブセグメンテーションのためのアクティブ学習と周波数領域解析の統合

インタラクティブセグメンテーションは、医用画像解析で一般的に用いられ、ピクセルレベルの正確なラベリングを得るために、通常は誤ラベル領域を修正する反復的なユーザー入力を伴います。しかし、既存のアプローチは、インタラクティブ入力から得られるユーザー知識を十分に活用せず、包括的な特徴抽出を実現できないことが多いです。具体的には、これらの手法はすべての誤ラベル領域を同等に扱い、各領域がセグメンテーション品質に与える潜在的影響を評価せず、ランダムに修正対象を選択します。さらに、多くのモデルは空間領域の特徴のみに依存しており、特徴抽出を強化し性能を高める可能性のある周波数領域情報を見落としています。これらの制限に対処するため、私たちはアクティブ学習と周波数領域分析を統合し、人間の介入を最小化しつつ高品質なラベリングを実現する新しいインタラクティブセグメンテーションフレームワークActiveFreqを提案します。ActiveFreqは、最も情報量の多い誤ラベル領域を優先する自律モジュールAcSelectを導入し、各クリックからの最大の性能向上を保証します。さらに、空間ドメインの特徴を周波数ドメインへ写像するフーリエ変換モジュールを組み込んだセグメンテーションのバックボーンであるFreqFormerを開発し、よりリッチな特徴抽出を実現します。ISIC-2017およびOAI-ZIBデータセットでの評価により、ActiveFreqはユーザー介入を抑えつつ高い性能を達成し、ISIC-2017で3.74 NoC@90、OAI-ZIBで9.27 NoC@90を達成し、従来のベスト結果よりそれぞれ23.5%および12.8%の改善を示します。最小限の入力条件、例えば2クリックの下でも、ISIC-2017とOAI-ZIBでそれぞれmIoUスコア85.29%と75.76%を達成し、インタラクティブな医用画像セグメンテーションにおける効率と精度を示しています。