概要: LLMs は一般用途の推論器としてますます用いられていますが、長い入力は固定された文脈ウィンドウによって依然としてボトルネックとなっています。
再帰言語モデル（RLM）は、プロンプトを外部化し、サブ問題を再帰的に解くことでこれに対処します。
しかし既存のRLMは、モデルが任意の制御コードを生成するオープンエンドなリード・エヴァリュエート・プリント・ループ（REPL）に依存しており、実行の検証、予測、分析を困難にします。
私たちは、長文脈推論のためのフレームワークである \lambda-RLM を導入します。これは、自由形式の再帰コード生成を、\lambda-計算に基づく型付き関数実行環境に置き換えます。
それは、事前検証済みのコンビネータのコンパクトなライブラリを実行し、境界で制限されたリーフ部分問題にのみニューラル推論を用いることで、再帰的推論を明示的な制御フローを備えた構造化された関数型プログラムへと変換します。
我々は、\lambda-RLM は、標準的な RLM には存在しない形式的保証を認めることを示します。これには、停止性、閉形式のコスト境界、再帰深さに応じた精度の制御可能なスケーリング、そして単純なコストモデルの下での最適な分割規則が含まれます。
経験的には、4つの長文脈推論タスクと9つの基本モデルに跨って、\lambda-RLM は標準の RLM を、36件のモデル-タスク比較のうち29件で上回り、モデル階層全体で平均精度を最大で+21.9ポイント向上させ、レイテンシを最大で4.1倍低減します。
これらの結果は、型付きの記号的制御が、オープンエンドな再帰コード生成よりも長文脈推論のために、より信頼性が高く効率的な基盤を提供することを示しています。
\lambda-RLM の完全な実装は、コミュニティ向けにオープンソースとして公開されています：https://github.com/lambda-calculus-LLM/lambda-RLM.
返却形式: {"translated": "翻訳済みHTML"}
