「コンテキスト・エンジニアリングのルート定理」

arXiv cs.CL / 2026/4/24

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • この論文は、LLMの長期にわたる会話では、有限のコンテキスト・ウィンドウと、蓄積する情報量に伴って品質が継続的に低下していくという避けられない制約があると主張している。
  • 著者らはこれらの問題を公理として形式化し、「コンテキスト・エンジニアリングのルート定理」として、損失を伴う有界なチャネルのもとで信号対トークン比を最大化するという支配原理を提案している。
  • 定理からは、単調な品質劣化のモデル、信号とトークン数を最適化変数として分離できること、容量ではなく忠実度(フィデリティ)閾値によって作動するゲート機構の必要性など、複数の帰結が導かれる。
  • 理解を「無限に」維持するには、蓄積・圧縮・書き換え・捨てるという恒常性(ホームオスタシス)的なループ構造が不可欠であり、さらに圧縮は同一チャネル内で行われるため外部の検証ゲートが必要だと論じている。
  • 工学的な裏付けとして、60セッション超の持続型アーキテクチャで安定したメモリ・フットプリントを示し、検索は改善するが連続性は解決しないとしてRAGを位置づけている。

要旨: 単一のセッションを超えて大規模言語モデルの会話を維持するあらゆるシステムには、避けられない2つの制約があります。第一にコンテキストウィンドウは有限であること、第二に蓄積された量に伴って情報品質が低下することです。私たちはこれらの制約を公理として形式化し、単一の支配原理――コンテキスト・エンジニアリングのルート定理――を導きます:\emph{有損失の有限なチャネルの中で、信号対トークン比を最大化せよ。} この原理から、追加の仮定なしに5つの帰結を導きます。(1) ウィンドウサイズに依存せず、注入されたトークン量に対して単調に劣化する品質関数 F(P);(2) 最適化変数としての信号とトークン数の独立性;(3) 容量制限ではなく、忠実度の閾値によって作動する必要なゲート機構;(4) ホメオスタシス(恒常性)に基づく持続性の必然性――蓄積、圧縮、書き換え、脱落――を理解を無期限に維持する唯一のアーキテクチャとして位置づけること;(5) 圧縮機構が圧縮しているチャネルの内部で動作するという自己参照的性質であり、外部の検証ゲートを要すること。私たちは、追記のみのシステムは有限時間で必ず実効ウィンドウを超えること、リトリーバル強化生成は探索を解決しても連続性は解決しないこと、そして定理の制約構造が、生物学的記憶アーキテクチャと共有された原理からの独立な導出によって収束することを示します。60+セッションにわたる持続型アーキテクチャによる工学的な証明として、継続運転下で安定したメモリフットプリントが実現されること――作成されていた発散予測を具体化すること――を提示します。ルート定理は、コンテキスト・エンジニアリングを情報理論的な規律として確立し、スコープと手法の両面でプロンプト・エンジニアリングとは明確に異なることを示します。シャノンは点対点の伝送を解きました。コンテキスト・エンジニアリングは連続性を解きます。