摂動と補正：アフィン冗長性を用いた事後的アンサンブル

arXiv cs.LG / 2026/5/5

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

Perturb-and-Correct（P&C）は、単一の事前学習済みニューラルネットワークから事後的にエピステミックな多様性を持つ予測器を構築する手法として提案されています。
P&Cは、隠れ層にランダムな摂動を加え、その次のアフィン層に対して最小二乗による補正を行うことで、予測器がキャリブレーションデータでは一致しつつ、分布外では異なることを可能にします。
作用機序は、事後補正後の残差と一階感度を解析することで説明されており、残差の制御はキャリブレーション分布近傍でレバレッジ項により担保され、入力がキャリブレーションの幾何から外れるほど感度が増大するとされています。
実験では、P&CがMuJoCoのダイナミクス予測やCIFAR-10のOOD検出でID/OODのトレードオフを改善し、一般的な事後的ベースラインと同等以上の性能を、単一の事前学習モデルだけで実現することが示されています。
この結果は、深層モデルの過パラメータ化を活用することが、分布シフト下での不確実性や頑健性を高める実用的な強みになり得ることを示唆しています。

概要: 分布内データにおいて識別不能なモデルは、分布シフト下では非常に異なる振る舞いを示し得ます。私たちは、単一の事前学習済みネットワークから事後的に（post-hoc）エピステミック多様な予測器を構築するための手法、Perturb-and-Correct（P&C）を提案します。P&Cは、続くアフィン層において最小二乗による補正を行いながら、ランダムな隠れ層の摂動を適用します。これにより、キャリブレーションデータ上では予測器同士が一致しつつ、それから離れる領域では互いに自由に不一致でいられるような予測器が得られます。私たちはこの仕組みを、事後補正後の残差とその一次感度を通して解析します。残差はレバレッジ項によってキャリブレーション分布の近傍で制御されますが、補正された感度は入力がキャリブレーションの幾何（ジオメトリ）から逸脱するにつれて増大します。実験的に、P&CはMuJoCoのダイナミクス予測およびCIFAR-10のOOD検出において、強力なID/OODのトレードオフを達成し、標準的な事後的ベースラインと同等、またはそれを上回ります。しかも必要なのは事前学習済みモデル1つだけです。これらの発見は、深層学習モデルの強みとして過パラメータ化をさらに活用できる可能性を示しています。