内部ノイズの変分カーネル設計: ガウス混沌ノイズ、表現互換性、そして信頼性のある深層学習

要約：内部ノイズは深層ネットワークで通常、ドロップアウト、ハードマスキング、または加法的摂動といったヒューリスティクスに由来します。私たちは次の2つの問いを投げかける。内部ノイズはどのような相関幾何を持つべきか、そして実装された摂動はそれが作用する表現と整合しているか。これらの問いには、Variational Kernel Design (VKD) と呼ばれるフレームワークを通じて答えます。VKDは、ノイズ機構を法則族、相関カーネル、注入演算子によって定義し、学習の望ましさから導出されます。解かれた空間的サブファミリーにおいて、潜在対数場に対する二次の最大エントロピー原理は、Dirichletラプラシアンによって与えられる精度を持つガウス型最適解を生み出し、したがって誘導される幾何はDirichlet Green核となる。 Wick正規化により、標準的な正の平均1のゲート、Gaussian Chaos Noise (GCh) が得られる。実務で用いられるサンプル単位のゲートに関して、対ごとの対数比変形に対する厳密なガウス制御、マージン感度を伴うランキング安定性、そして厳密な期待内在的粗さの予算を証明する。一方、硬い2値マスクは正のコヒーレント表現に対して、特異な歪みやコヒアンスを増幅する歪みを誘発する。ImageNetおよびImageNet-Cにおいて、GChは一貫して較正を改善し、シフト下でも競争力のある精度でNLLを改善する。