パスエントロピー最大化下におけるカーネル・ダイナミクス
arXiv cs.LG / 2026/3/31
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、カーネル関数を動的変数として扱い、その進化をパスエントロピー最大化によって駆動する変分 MaxCal(maximum caliber)フレームワークを導入する。
- カーネルの変化を、関連する一群の情報幾何学(information geometries)を通じて軌道(トラジェクトリ)と結び付けることで、最適化の地形がカーネル自体のたどり方に依存することを示す。
- 著者らは「自己強化(self-reinforcing)」カーネルに対する固定点の自己整合条件を導出し、さらに繰り込み群(renormalization-group: RG)フローを、構造化された特殊な場合として概説する。
- 深層ネットワークの学習中におけるニューラル・タンジェント・カーネル(NTK)の進化が、本理論の実証的な具現化(empirical instantiation)になり得ると提案する。
- 情報熱力学的仮定のもとで、カーネルを変化させるために必要な仕事は ΔW ≥ k_B T ΔI_k により下限付けられ、新たに解放される相互情報量(mutual information)とカーネル更新を結び付ける。論文は最後に、検証可能な未解決の問いを6つ提示して終わる。



