DINO-QPM：視覚基盤モデルをグローバルに解釈可能な画像分類へ適応する

Abstract

DINOv2 のような視覚基盤モデルは特徴抽出器として最先端の性能を提供しますが、その複雑で高次元な表現は解釈可能性の面で大きな障壁になります。本研究では、これらの強力だが絡み合った特徴を、人間が解釈可能な対照的でクラス非依存の表現へ変換する DINO-QPM を提案します。DINO-QPM は軽量な解釈可能性アダプタであり、厳密に凍結した DINO バックボーン上で動作するように、二次計画法強化モデル（QPM）を適応しつつ、グローバルに解釈可能な画像分類を追求します。視覚基盤モデルによる分類では通常 \texttt{CLS} トークンが用いられますが、我々はあえてこの標準から逸脱します。平均プーリングを活用することで、パッチ埋め込みをモデルの特徴へ直接結び付け、したがって入力空間内において DINO-QPM のグローバルに解釈可能な特徴の空間的な局在化を可能にします。さらに、空間的な散らばりや背景ノイズを最小化するためにスパース性損失を適用し、説明が関連する対象物の部位に根ざすようにします。DINO-QPM により、QPM の解釈可能性の水準をアダプタとして利用できるようにしつつ、DINOv2 の線形プローブの精度を上回ります。導入した Plausibility 指標およびその他の解釈可能性指標によって評価した結果、広範な実験により、DINO-QPM は凍結した視覚基盤モデルに対して適用可能な他の手法よりも、分類精度と説明品質の両面で優れていることが示されます。