暗黙モデルの表現力：豊かな均衡とテスト時スケーリング

arXiv stat.ML / 2026/4/1

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

暗黙モデルは、共有された演算子を固定点まで反復することで出力を生成し、実質的に一定のメモリで動作する無限深度かつ重み共有のネットワークとして振る舞う。
本論文は、テスト時の計算量を増やすことで、暗黙モデルが明示的モデルに匹敵、あるいはそれを上回り得る理由を扱い、その表現力を厳密な数学的に特徴付ける。
広いクラスの暗黙演算子に対して、表現力がテスト時の反復回数に応じて体系的に増大し、より豊かな関数クラスへ近づけることを示す。
画像再構成、科学計算、オペレーションズ・リサーチ、LLM推論にまたがる実験では、より多くの反復により写像の複雑さや解の品質が向上する一方で、性能は安定していることが確認される。

Abstract

暗黙モデルは、新たに登場したモデルのクラスであり、単一のパラメータブロックを固定点まで反復することで出力を計算します。このアーキテクチャは、無限深さで重みを共有したネットワークを実現し、一定のメモリで学習できるため、同等の性能レベルにおいて、明示的モデルと比べてメモリ要件を大幅に削減します。これらのコンパクトなモデルが、推論時により多くの計算を割り当てることで、しばしばより大きな明示的ネットワークの精度に匹敵、あるいはそれを上回ることは経験的に知られていますが、根本的なメカニズムは十分に理解されていません。本研究では、非パラメトリックな分析によってこのギャップを調べます。単純で規則的な暗黙演算子が、反復によって、より複雑な写像を段階的に表現できることを示す、厳密な数学的特性評価を提示します。広範なクラスの暗黙モデルについて、この過程によりモデルの表現力が推論時の計算量に応じてスケールし、最終的にははるかに豊かな関数クラスに到達することを証明します。この理論は、画像再構成、科学計算、オペレーションズリサーチ、LLM推論の4つの領域すべてで検証されており、推論時の反復回数が増えるにつれて学習される写像の複雑さが高まる一方で、解の品質も同時に向上し、かつ安定することが示されています。