トークン圧縮器および復元器としての大規模言語モデル
arXiv cs.CL / 2026/3/27
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、市販の既製大規模言語モデル（LLM）を、内部表現を学習することでトークン圧縮器および復元器の両方として機能させられることを提案している。
- 自己表現的なオートエンコーディングの枠組みを導入し、事前学習済みのLLMを微調整して、長文を離散的で可変長の潜在コード（「Zトークン」）へ変換し、元のテキストを完全に復元する。
- 学習されたZトークン表現は内容に適応し、意味的に密度の高いセグメントにはより多くのトークンを割り当てる一方、軽量なLoRAベースのアダプタヘッドを用いて冗長または予測可能な領域を強力に圧縮する。
- 実験では、Wikipedia、CNN/DailyMail、HotpotQA、長いクエリを含むコーパスなどで最大18倍のトークン削減を報告しており、復元の忠実性と下流タスクの性能を維持している。
- この手法は、プロンプト圧縮やZトークン空間での自己回帰的生成を含む、トークン効率の高い長文コンテキストでの推論を可能にするものとして位置付けられている。
