Abstract
ソフトなコンテキスト圧縮は、長いコンテキストをより少ない潜在トークンの数へ符号化することで、LLMにおける長いコンテキスト処理の計算負荷を低減します。しかし、既存の枠組みは一様な圧縮率を適用するため、自然言語における情報密度の極端なばらつきを考慮できていません。密度に応じた動的な圧縮率を採用することは直感的に思えますが、実証的な調査では、入力に依存し連続的な構造ハイパーパラメータによってパラメータ化された操作に対して、モデルが本質的に困難を抱えることが明らかになっています。この落とし穴を解決するために、Semi-Dynamic Context Compression（半動的コンテキスト圧縮）フレームワークを提案します。私たちのアプローチでは、情報密度の内在的な特性に基づいて圧縮目標を予測し、それを予め定義された離散的な圧縮率の集合へ量子化する「離散比セレクタ（Discrete Ratio Selector）」を特徴とします。このセレクタは、圧縮率予測のラベル作成の代理として要約長を用いることで、合成データ上で圧縮器（compressor）と効率的に共同学習されます。大規模な評価により、平均プーリングをバックボーンとして用いた、密度に応じた私たちのフレームワークが、静的ベースラインを一貫して上回り、コンテキスト圧縮手法の堅牢なパレートフロンティアを確立することが確認されます。私たちのコード、データ、モデル重みは https://github.com/yuyijiong/semi-dynamic-context-compress で利用可能です
