広告

パスエントロピー最大化下におけるカーネル・ダイナミクス

arXiv cs.LG / 2026/3/31

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、カーネル関数を動的変数として扱い、その進化をパスエントロピー最大化によって駆動する変分 MaxCal(maximum caliber)フレームワークを導入する。
  • カーネルの変化を、関連する一群の情報幾何学(information geometries)を通じて軌道(トラジェクトリ)と結び付けることで、最適化の地形がカーネル自体のたどり方に依存することを示す。
  • 著者らは「自己強化(self-reinforcing)」カーネルに対する固定点の自己整合条件を導出し、さらに繰り込み群(renormalization-group: RG)フローを、構造化された特殊な場合として概説する。
  • 深層ネットワークの学習中におけるニューラル・タンジェント・カーネル(NTK)の進化が、本理論の実証的な具現化(empirical instantiation)になり得ると提案する。
  • 情報熱力学的仮定のもとで、カーネルを変化させるために必要な仕事は ΔW ≥ k_B T ΔI_k により下限付けられ、新たに解放される相互情報量(mutual information)とカーネル更新を結び付ける。論文は最後に、検証可能な未解決の問いを6つ提示して終わる。

Abstract

本研究では、カーネル関数 k : X x X -> R を、エージェントが表象し得る違いの内容をエンコードする基礎的対象として解釈し、経路エントロピー最大化(Maximum Caliber, MaxCal)に従う動力学的変数として扱う変分的枠組みを提案する。各カーネルは確率空間上の情報幾何を解析し得る表象構造を定めるため、カーネル空間を通る軌跡は、一連の有効幾何の族を通る軌跡に対応する。その結果、最適化の風景は、それ自身の探索(遍歴)に内生的に規定される。自己整合的なカーネルに対する固定点条件を定式化し、構造化された特別な場合として繰り込み群(RG)フローを提案し、さらに深層ネットワークの学習中におけるニューラル接線カーネル(NTK)の進化を、実証的な実現(インスタンス化)の候補として示唆する。情報熱力学に関する明示的な仮定のもとでは、カーネルが変化するために必要な仕事は、delta W >= k_B T delta I_k で下から抑えられる。ここで delta I_k は、更新されたカーネルによって新たに解放される相互情報量である。この観点では、カーネル上での MaxCal の安定な固定点は、自己強化的な識別構造に対応し、生物学的ニッチ、科学的パラダイム、そして職人的熟達は、推測(conjectural)の解釈として提示される。本研究は、組み立て理論(assembly theory)および MaxCal 文献に対して、この枠組みの位置づけを行う。形式的な結果と、構造化された対応関係および推測的な架橋(bridges)を切り分け、さらに、このプログラムを実証的かつ数学的に検証可能にする6つの未解決問題を提示する。

広告