コントラスト的セマンティック射影：コントラスト例による忠実なニューロンラベリング

要旨: ニューロンのラベリングは、深層ネットワーク内部のユニットに対してテキストによる記述を割り当てます。既存の手法は一般に、高い活性を示す例に依存しており、支配的ではあるものの偶発的な視覚的要因に注目してしまうことで、広すぎる、または誤解を招くラベルが得られがちです。FALCONのような先行研究では、対照的な例—すなわち、活性化例と意味的に類似しているが活性は低い入力—を導入して説明を鋭くすることが提案されましたが、主にサブスペース・レベルの解釈可能性に焦点が当てられており、スケーラブルなニューロン・レベルのラベリングには十分には対処していません。本研究では、ニューロン・レベルのラベリングに対する対照的な説明を二段階で再検討します: (1) 画像と言語モデル（VLM）による候補ラベル生成、(2) CLIPライクなエンコーダによるラベル割り当てです。まず、対照的な画像セットをVLMに与えることで、より特定的で、より忠実な候補ラベルが得られることを示します。次に、CLIPベースのスコアリングおよび選択のパイプラインに対照的な例を直接組み込むよう拡張した、Contrastive Semantic Projection（CSP）を導入します。大規模な実験と、メラノーマ検出に関するケーススタディを通じて、対照的なラベリングは最先端のベースラインと比べて、忠実性と意味的粒度の両方を改善します。これらの結果は、対照的な例が、ニューロン・ラベリングおよび分析パイプラインにおける、単純でありながら強力で、かつ現状では十分に活用されていない要素であることを示しています。