構造化された潜在軌跡上でのエネルギー最小化としての推論

概要: シングルショットのニューラルデコーダは、反復的な洗練なしに答えを確約する一方で、思考連鎖（chain-of-thought）手法は離散的な中間ステップを導入するものの、推論の進捗を表すスカラー量が欠けています。そこで本論文では、学習したエネルギー関数 E(h_x, z) のもとで、多段の潜在軌跡 z_{1:T} を勾配に基づく最適化として推論をモデル化する、Structured Latent Planning（EBRM）によるEnergy-Based Reasoningを提案します。エネルギーは、各ステップの適合（compatibility）、遷移の整合性（transition consistency）、軌跡の滑らかさ（trajectory smoothness）の項に分解されます。学習は、教師ありのエンコーダ—デコーダ学習と、ハードネガティブを用いたコントラストiveなエネルギー整形（contrastive energy shaping）を組み合わせ、推論では z 上で勾配降下法またはLangevinダイナミクスを行い、z_T からデコードします。
本研究では、重大な失敗モードを特定します。CNF論理充足（logic satisfaction）において、潜在計画（latent planning）が精度を約95%から約56%へと低下させるのです。この劣化は、分布の不一致に起因します。すなわち、デコーダはエンコーダ出力 h_x で訓練されている一方で、評価ではプランナ出力 z_T が未見の潜在領域へとドリフトするためです。私たちは、この挙動を、ステップごとのデコード、潜在ドリフト追跡、そして勾配分解によって解析します。これに対処するため、デュアルパスのデコーダ学習と、潜在アンカーリング（latent anchoring）を提案します。
さらに、構成要素の寄与、軌跡長、プランナのダイナミクス、初期化、デコーダの学習分布、アンカー重み（anchor weight）を含む6部構成のアブレーション手順を導入します。3つの合成タスクでの実験により、エネルギーは単調に低下し、グラフおよび論理タスクでは構造化された潜在軌跡を誘導する一方、算術では平坦のままであること（r = 0.073）が示され、負の結果であることが分かります。コードは https://github.com/dkjo8/ebr-via-structured-latent-planning で公開されています。