メモリ成長なしの文脈切り替えタスクにおける文脈的制御

arXiv cs.AI / 2026/4/7

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、文脈依存の逐次意思決定を、(1)文脈を入力として渡す方法や(2)再帰メモリ次元を増やす方法とは別に、共有する再帰潜在状態へ「介入(intervention)」することで実現する第三のアプローチを提案している。
  • 提案アーキテクチャでは、再帰コアが介入前の共通潜在状態を構成し、その後文脈は加算的で文脈インデックスされた演算子を通じて作用するため、再帰次元の増加(メモリ成長)なしで文脈制御を行えるとしている。
  • 部分観測下の文脈切り替え逐次決定タスクで、(a)ラベル支援のベースライン(文脈を直接入力)と、(b)再帰状態を拡張するメモリベースライン、(c)介入モデル(直接文脈入力なし・メモリ成長なし)を比較し、主要ベンチマークで介入モデルが強力な性能を示したと報告している。
  • 文脈依存性の検査として条件付き相互情報量 I(C;O|S) を用い、タスクに関連するフェーズ1の成果において介入モデルが正の条件付き文脈情報を示すことから、固定した潜在状態でも文脈的制御が成立しうることを示唆している。

Abstract

文脈に依存した逐次意思決定は、一般に文脈を入力として明示的に与えるか、もしくは再帰的なメモリを増やすことで文脈情報を内部で表現できるようにすることで対処されることが多い。私たちは第三の選択肢として、再帰の次元を増やすことなく、共有する再帰潜在状態に介入することで文脈依存性を実現することを研究する。そのために、再帰的コアがまず共有の介入前潜在状態を構築し、その後、文脈が加法的で文脈にインデックス付けされた演算子を通じて作用する、介入ベースの再帰アーキテクチャを提案する。部分観測下における文脈切り替えの逐次意思決定タスクでこの考えを評価する。比較対象は3つのモデル系である。すなわち、文脈への直接アクセスを持つラベル支援型ベースライン、再帰状態を拡大したメモリベースライン、そして提案する介入モデルであり、これは再帰的コアへ直接の文脈入力を行わず、メモリの増加も行わない。主要ベンチマークにおいて、介入モデルは追加の再帰次元なしで強い性能を示す。さらに、固定した潜在状態における文脈依存性を、定理に動機づけられた操作的なプローブとして条件付き相互情報量(I(C;O | S))を用いてモデルを評価する。タスクに関連するフェーズ1の結果において、介入モデルは正の条件付き文脈情報を示す。これらの結果は、この設定における文脈制御に対して、共有再帰状態への介入が、再帰的メモリの増大に代わる実行可能な選択肢を提供することを示唆している。