重み空間学習の調査：理解、表現、生成

要旨：ニューラルネットワークの重みは通常、学習の最終成果として見なされる一方で、ほとんどの深層学習研究はデータ、特徴、およびアーキテクチャに焦点を当てています。しかし、最近の進展は、すべての可能な重み値の集合（重み空間）自体が豊かな構造を含んでいることを示しています。事前訓練済みモデルは組織化された分布を形成し、対称性を示し、埋め込み、比較、生成さえも可能です。このような構造を理解することは、ニューラルネットワークの分析と比較、そして個々の訓練事例を超えたモデル間での知識転送に重大な影響を与えます。この新たな研究方向を「重み空間学習（WSL）」と呼び、ニューラル重みを分析・モデリングの意味ある領域として扱います。本調査はWSLの初の統一的分類体系を提供します。既存の手法を三つのコア次元に分類します：重み空間理解（WSU）は重みの幾何と対称性を研究し、重み空間表現（WSR）はモデルの重みに関する埋め込みを学習し、重み空間生成（WSG）はハイパーネットワークや生成モデルを通じて新しい重みを合成します。これらの発展が、モデル検索、継続的・連合学習、ニューラルアーキテクチャ探索、データなし再構成などの実用的な応用を可能にする方法をさらに示します。一貫した枠組みのもとで断片化した進展を統合することにより、本調査は重み空間を、モデル分析、転移、および重み生成において成長する影響を持つ学習可能な構造化ドメインとして際立たせます。関連リソースを https://github.com/Zehong-Wang/Awesome-Weight-Space-Learning に公開します。