要旨: ニューラル・プロセスは、文脈セットを予測分布へ写像するメタ学習モデルである。確率過程に触発されているものの、NPは一般に、有効な確率過程を定義するために必要なコルモゴロフ整合性条件を満たさない。この不整合は広く認められているが、よく理解されていない。実務者は、違反しているにもかかわらずNPがうまく機能すると述べるが、それが何を意味するのかは定量化されていない。本研究では、このギャップを埋めるために、条件付き整合性ギャップ（conditioning consistency gap）を定義する。これは、ある点を文脈に追加した場合と、その点を条件として与えた場合で、条件付きニューラル・プロセス（CNP）の予測がどれだけ変化するかを測るKLダイバージェンスである。我々の主結果は、境界付きエンコーダとリプシッツ連続なデコーダをもつCNPに対して、整合性ギャップが文脈サイズnに関してO(1/n^2)であること、そしてこのレートがタイトであることを示す。これらの境界は、CNPが有効な確率過程をどのように正確な意味で近似しているのかを確立する。不整合は中程度の文脈サイズでは無視できるが、少数ショットの状況では有意になり得る。
条件付きニューラルプロセスにおける「条件付け整合性ギャップ」について
arXiv cs.LG / 2026/4/22
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- ニューラルプロセス（NPs）はコンテキスト集合から予測分布を生成するメタ学習モデルだが、一般にコルモゴロフ整合条件を満たさず、厳密には有効な確率過程として定義できない。
- 本論文は「条件付け整合性ギャップ」を提案し、条件付きニューラルプロセス（CNP）の予測が、コンテキストに1点追加する場合とその点で条件付けする場合でどれだけ変わるかをKLダイバージェンスで定量化する。
- 解析の結果、境界付きエンコーダとリプシッツ連続デコーダを持つCNPでは、整合性ギャップがコンテキストサイズnに対してO(1/n^2)で減少し、その収束率はタイトであることを示す。
- これらの結果から、整合性の不一致は中程度のコンテキストサイズでは概ね無視できる一方、少数ショット（few-shot）では無視できないほど大きくなる可能性がある。
- 総じて、本研究はCNPが妥当な確率過程をどの程度近似しているかを、理論的に正確な尺度として与えることで、知られていた実務上の経験と未解明だった定量化のギャップを埋める。
