Abstract
文脈内学習（in-context learning）は、大規模言語モデル（LLMs）にとって重要な学習パラダイムとして定着しています。本論文では、LLMが文脈内でエンコーディングキーを学習し、エンコードされた表現に対して直接解析を行えることを示します。この発見により、モデルの微調整なしで辞書エンコーディングによるロスレスなプロンプト圧縮が可能になります。すなわち、頻出する部分列をコンパクトなメタトークンで置き換え、システムプロンプト内で圧縮辞書を与えると、LLMは解析の際にこれらのメタトークンを正しく解釈し、非圧縮入力から得られるものと同等の出力を生成します。複数の長さスケールにわたって反復パターンを特定する圧縮アルゴリズムを提示し、圧縮によるコスト削減が、辞書のオーバーヘッドが節約分を上回らないことによって保証される、トークン節約最適化基準を組み込みます。このアルゴリズムは、データセットの特性に応じて最大80\%の圧縮率を達成します。圧縮下でもLLMの解析精度が維持されることを検証するために、解凍を非曖昧な真値を持つ代理タスクとして用います。Claude 3.7 Sonnet を用いた LogHub 2.0 ベンチマークでの評価では、テンプレートベースの圧縮で完全一致率が0.99を超え、アルゴリズム的圧縮では圧縮率が60\%-80\%であっても、平均レーベンシュタイン類似度スコアが0.91を超えます。さらに、類似度指標における分散のうち圧縮率が説明する割合は2\%未満であり、解凍の品質は圧縮の強度というよりデータセットの特性に依存することを示しています。学習不要（training-free）のこの手法はAPIベースのLLMでも動作し、根本的な導入上の制約――トークン上限とAPIコスト――を直接扱います。そして、データパターンが時間とともに変化していく場合でも、大規模な反復データセットに対する費用対効果の高い解析を可能にします。
