LINE:視覚モデル向けLLMベースの反復的ニューロン説明

arXiv cs.CV / 2026/4/10

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、オープンボキャブラリ手法を用いて、視覚モデルにおけるニューロン単位の概念をラベリングし説明するための、学習不要(training-free)かつ反復的な手法LINEを提案する。
  • LINEは、ニューロンの活性化履歴に基づいて提案を導くことで、LLMとテキストから画像への生成器を閉ループで用い、厳密なブラックボックス設定で動作する。
  • 実験では、ImageNetで最大0.18、Places365で0.05のAUC向上といった形で、複数のアーキテクチャにわたって最先端の結果が報告されている。
  • 本手法は、大規模に事前定義された語彙ではカバーされていない新しい概念を発見できるとされており、それらの語彙が見落とす新規概念を平均29%見つける。
  • LINEはまた、完全な生成履歴と視覚的説明を出力し、ポリセマンティシティ(多意味性)の評価や、勾配依存の活性最大化アプローチとの比較といった分析を可能にする。