Abstract
系列に対する任意の生成モデルによって暗黙に定義される接頭辞構造を明示化する、統一表現として確率的言語トライ（PLT: Probabilistic Language Tries）を導入します。各出力エッジに、対応するトークンまたはアクションの条件付き確率を割り当てることで、PLTは同時に次の役割を果たします。（i）周波数で重み付けした区間エンコーディングにより、算術符号化をモデル条件付き分布へ一般化した、最適な損失なし圧縮。（ii）ゲーム、探索、ロボティック制御を含む逐次意思決定問題のためのポリシー表現。（iii）反復される推論クエリを、モデル全体の実行ではなく構造化された検索によって回答可能にするメモ化インデックス。
中心となる技術的成果は、事前ガイド付きキャッシュの定理です。定常な生成分布のもとで、PLTに導かれたキャッシュは、事前の集中度とともに増大する閾値より下の、あらゆるクエリ数に対して、いかなる経験的頻度キャッシュよりも、期待推論コストが厳密に低いことを示します。これにより、O(n^2) のトランスフォーマー注意コストが、期待コスト p_r * O(log N) + (1 - p_r) * O(n^2) に変換されます。ここで p_r は事前推定された再利用確率、N はアーティファクト格納庫のサイズです。
さらに、任意のデータセットを、PLTで覆われる多数部分と疎な残差格納庫に分解するハイブリッド圧縮アーキテクチャを導入します。これにより、算術符号化をコルモゴロフ型のプログラム表現およびレート・歪み理論と結び付けます。本フレームワークをチェス、Web探索、ロボティクス、組織的ワークフロー、LLM推論にわたって実装し、圧縮、意思決定、そして計算の再利用が、系列空間上の単一の確率測度から導かれることを実証します。
