ベンチマークとデュアル証拠融合による、忠実なセグメンテーション帰属へのアプローチ

arXiv cs.CV / 2026/3/25

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、セグメンテーション帰属手法がしばしば視覚的な妥当性だけで評価されており、因果的忠実性や的外れの帰属(off-target attribution)の失敗が見えにくくなると主張する。
  • Pascal VOCとSBDの3つの事前学習済みバックボーンを用いて、介入ベースの忠実性、的外れリーク、摂動ロバスト性、計算時間を評価する、再現可能な意味セグメンテーション帰属のベンチマークを導入する。
  • 提案するDual-Evidence Attribution(DEA)手法は、勾配の証拠と領域レベルの介入シグナルを組み合わせる、合意(agreement)に重み付けした融合を適用し、勾配が信頼できない場合でも安定性を高める。
  • 結果は、DEAが勾配のみのベースラインと比べて削除ベースの忠実性を改善し、強いロバスト性も維持する一方で、介入パス分の追加計算を要することを示す。
  • ベンチマークにより、帰属ファミリ間における忠実性—安定性のトレードオフが明らかになり、純粋に視覚評価では見えないそれらを把握できるため、より原理的な手法選択が可能になる。コードはGitHubで提供される。

要旨: セマンティックセグメンテーションにおける帰属(アトリビューション)マップは、ほぼ常に視覚的なもっともらしさによって評価されます。しかし、説得力があるように見えることは、強調された画素が実際にモデルの予測を駆動していること、または帰属のクレジットがターゲット領域内に保たれていることを保証しません。これらの問いには、専用の評価プロトコルが必要です。本研究では、介入ベースの忠実性、オフターゲットの漏洩、摂動に対する頑健性、そしてPascal VOCおよびSBDにおける実行時間を、3つの事前学習済みバックボーンにわたってテストする、再現可能なベンチマークを提案します。さらに、このベンチマークを示すために、Dual-Evidence Attribution(DEA)を提案します。これは、合意(agreement)に重み付けしたフュージョンによって、勾配の根拠と領域レベルの介入シグナルを融合する軽量な補正です。DEAは、両方の情報源が一致する箇所により強い重み付けを行い、勾配応答が不安定なときにも因果的な支持を保持します。完了したすべての実行において、DEAは勾配のみのベースラインに対して削除ベースの忠実性を一貫して改善し、介入パスによる追加計算コストを代償にしても強い頑健性を維持します。このベンチマークは、視覚評価の下では完全に隠れてしまっている、帰属ファミリ間の「忠実性と安定性」のトレードオフを明らかにし、セグメンテーションの説明可能性における原理に基づく手法選択の基盤を提供します。コードは https://github.com/anmspro/DEA で利用可能です。