畳み込みを超えて: 学習ベースの画像処理における構造化演算子の分類体系

畳み込み演算子は、単純さ、平行移動に対する等変性、および効率的な実装性により、現代のCNNの基本的な構成要素である。しかし、固定的で線形、局所的な平均化演算子としてのその構造は、低秩分解、適応的基底表現、非均一な空間依存性といった構造化信号特性を捉える能力を制限している。本論文は、学習ベースの画像処理パイプラインにおいて標準の畳み込みを拡張または置換する演算子の体系的な分類を提示する。我々は代替オペレーターの全体像を5つのファミリーに整理する: (i) 分解ベースの演算子は、構造成分とノイズ成分を特異値分解またはテンソル分解を用いて分離するもの; (ii) 適応ウェイト演算子は、空間的位置や信号内容に応じてカーネルの寄与を調整する; (iii) 基底適応演算子は、ネットワークの重みとともに解析基底を最適化する; (iv) 積分およびカーネル演算子は、畳み込みを位置依存のカーネルや非線形カーネルへと一般化する; (v) 注意機構ベースの演算子は、局所性の仮定を完全に緩和する。各ファミリーについて、形式的定義を提示し、畳み込みに対する構造的特性の分析を行い、演算子が最も適切とされるタスクを批判的に分析する。さらに、関連する次元（線形性、局所性、等変性、計算コスト、画像間処理および画像からラベルへの処理への適合性）にわたって全ファミリーの比較分析を提供し、この研究領域の未解決の課題と今後の方向性を概説する。