ニューラルネットのための機能的類似度指標：活性領域解析によるパラメトリックな曖昧さの克服

arXiv cs.LG / 2026/4/21

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、ReLUニューラルネットで同一の機能写像が異なる重み配置（ニューロンの順列と正の対角スケーリング対称性）によって実現され得ることによる、表現上の曖昧さを扱います。
重みそのものではなく活性領域のトポロジーを解析することで、安定した正規形（カノニカル表現）と頑健な機能類似度指標を提案します。
スケーリングの曖昧さは、重みベクトルのL2正規化と層ごとの補償により除去し、その後サンプルデータ上で二値の機能的サイン（署名）として活性領域の離散近似を生成します。
大きな二値ベクトル同士の比較に伴う計算ボトルネックを避けるため、Locality-Sensitive Hashing（MinHash）でJaccard係数を高速かつ統計的に近似し、ネットワーク間のニューロン対応付けはハンガリアン法で解きます。
理論および実験の両面で、この指標がニューロンの「フリッカー（flickering）」を抑え、小さな重み摂動に対して高い頑健性を示すことを示し、モデル統合、剪定（プルーニング）評価、転移学習、Explainable AIに資する枠組みを提示します。

Abstract

現代の深層学習アーキテクチャが複雑化するにつれて、表現上の曖昧さが、解釈可能性と信頼性の高い統合を阻む重要な障壁として現れてきます。ReLUネットワークでは、代数的な対称性（ニューロンの順列と正の対角スケーリング）により、まったく異なる重み配置によって同一の機能写像が実現可能です。その結果、従来のパラメータベースの比較手法は、学習中のわずかな重みの摂動に対して極めて不安定になります。本論文では、ニューラルネットワークの安定した正準表現と、頑健な機能類似度指標を構築するための数学的に根拠づけられたアプローチを提案します。生の重みを比較するのではなく、ニューロンの活性化領域のトポロジーを解析することに焦点を移します。アルゴリズムはまず、後続層で補償しつつ、重みベクトルをL2正規化することでスケーリングの曖昧さを除去します。次に、データサンプル上で評価される2値の機能シグネチャとして、活性化領域の離散近似を生成します。大規模な2値ベクトル同士の比較に伴う計算上のボトルネックを克服するために、Jaccard指数を高速かつ統計的に正確に近似するため、Locality-Sensitive Hashing、具体的にはMinHashを適用します。最終的なネットワーク間のニューロン対応付けは、ハンガリアンアルゴリズムによって解かれる線形和割当問題として定式化します。本手法の指標が、理論的および実験的に、ニューロンの「フリッカリング」効果を軽減し、重みの微小な摂動に対して卓越した頑健性を示すことを確認します。本枠組みは、モデル統合、転移学習、剪定中の目的に対する評価、およびExplainable AIパラダイムのための確固たる基盤を提供します。