ダイナミックな注意（Dynamic Attention）でスパースオートエンコーダを改善
arXiv cs.LG / 2026/4/17
📰 ニュースModels & Research
要点
- この論文は、スパースオートエンコーダ（SAE）の実務上の重要な課題である「適切なスパース度の選択の難しさ」に取り組みます。スパース度を上げすぎると再構成が悪化し、下げすぎると解釈性が損なわれるためです。
- 潜在特徴をクエリ、学習可能な辞書をキー／バリュー行列とするクロスアテンション構造に基づく新しいSAEの枠組みを提案しています。
- sparsemaxにもとづくダイナミックなスパース注意によって、活性化数をデータ依存で自動推定し、追加のスパース正則化や入念なハイパラ調整をなるべく不要にすることを狙います。
- 評価実験と可視化により、再構成誤差が低く、概念の質も高いことが示され、特にtop-n分類タスクで有効性が高いと報告されています。
