多項式アラインメントとIMQ距離に基づく普遍的再現可能な再生核ヒルベルト空間

arXiv cs.LG / 2026/5/6

💬 オピニオンModels & Research

要点

  • 本論文は \(k_{b,\varepsilon}(\mathbf{w},\mathbf{x})=((\mathbf{w}^\top\mathbf{x}+b)^2)/(\|\mathbf{x}-\mathbf{w}\|^2+\varepsilon)\) という形の「Yat」カーネルを提案し、\(b\ge 0\) で正半定値(PSD)であることを示しています。
  • \(b>0\) のとき、Yatカーネルがスケールした逆多重二乗(IMQ)カーネルをローベンオーダーで優越し、その結果として任意のコンパクト領域での普遍性、特性性(characteristicness)、厳密な正定値性が成り立つと主張しています。
  • 多項式の分子によって、有限IMQ展開には現れない非放射状のアラインメント経路が導入され、方向性のある遠方界トレース項 \((\mathbf{u}^\top\mathbf{w})^2\) により観測されるとしています。
  • バイアスに関する2階の有限差分を用いて、IMQアトムを3つの正のバイアスを持つYatアトムから代数的に正確に復元でき、しかも全次元で3点において点ごとの等号が鋭く成立すると示しています。
  • 共有された \((b,\varepsilon)\) を持つYat層の学習は、普遍的で特性のあるRKHS上での有限な学習中心展開として解釈でき、RKHSノルムの閉形式や明示的な対角項によりランダム化学習(ラデマッハー)の一般化境界を与えられると述べています。

概要: 次の有理な隠れユニットの原型を導入します。

k_{b,psilon}(\mathbf{w},\mathbf{x})=\frac{(\mathbf{w}^\top\mathbf{x}+b)^2}{\|\mathbf{x}-\mathbf{w}\|^2+\varepsilon},\qquad b\ge 0,\ \varepsilon>0,

これは、共有された入力/重み空間上でのマルサー領域(Mercer sections)として与えられるユニットを持つ有理の隠れユニット原型です。b\ge 0 ならカーネルはPSDです;また b>0 なら、ルーヴナー順序(Loewner order)において、スケールされた逆多重二クアドリック(IMQ)を支配し、その結果として、あらゆるコンパクト領域で固定カーネルの普遍性、特徴性(characteristicness)、および厳密な正定値性(strict positive definiteness)が得られます。多項式の分子は、有限IMQ展開には存在しない非放射(nonradial)のアラインメント(整列)チャネルを開きます。これは、方向依存の遠方界トレース T_\infty g_\varepsilon(\cdot;\mathbf{w},b)(\mathbf{u})=(\mathbf{u}^\top\mathbf{w})^2 によって示されます。代数的には、バイアスに対する2回目の有限差分によって、3つの正のバイアスを持つYat原子(atom)からIMQの任意の原子を正確に復元できます。さらに、その一致は次元のあらゆる位置で、3つの原子に関しては厳密に(正確な点ごとの一致として)シャープに生じます。したがって、学習済みの共有-(b,\varepsilon) Yat層は、固定された普遍的・特徴量(characteristic)なRKHSにおける有限の学習中心展開であり、閉形式のノルム \boldsymbol{\alpha}^\top\mathbf{K}\boldsymbol{\alpha} と、明示的な対角成分 (\|\mathbf{x}\|^2+b)^2/\varepsilon が、ラデマッハー(Rademacher)の汎化境界を駆動します。