損失と精度を超えて：力学系アプローチによる深い視覚ネットワークの学習解析

要旨: 深い視覚認識モデルは通常、損失や精度といった指標を用いて訓練および評価されます。これらの指標はモデルが改善しているかどうかを示しますが、訓練の間にその内部表現がどのように変化するかについてはほとんど明らかにしません。本論文は、力学系の観点から訓練を検討することで、その過程を理解するための補完的な方法を提示します。生物学的な神経活動の研究に最初に用いられた信号解析の発想を踏まえ、訓練エポックを通じて収集した層の活性化から3つの指標を定義します。すなわち、層間の長距離にわたる協調を反映する統合スコア、ネットワークがより同期した状態とより同期していない状態の間でどれほど柔軟に移り変わるかを捉えるメタスタビリティスコア、そして統合された力学的安定性指数です。これらの枠組みを、モデルのアーキテクチャとデータセットの9つの組み合わせに適用します。具体的には、いくつかのResNetのバリアント、DenseNet-121、MobileNetV2、VGG-16、ならびにCIFAR-10およびCIFAR-100上で事前学習されたVision Transformerを含みます。結果は、主に3つのパターンを示唆しています。第一に、統合の指標は一貫して、より取り組みやすいCIFAR-10設定と、より困難なCIFAR-100設定を区別します。第二に、安定性指数のボラティリティ（変動性）の変化は、精度が完全に停滞する前に収束の早期兆候として働き得ます。第三に、統合とメタスタビリティの関係は、異なる様式の訓練行動を反映しているように見えます。総じて、本研究は、損失や精度を超えて深い視覚訓練を理解するための、探索的であるものの有望な新しい方法を提供します。