量子トークンと近傍コンテキストによるテキストからの分布予測

概要: LLM（大規模言語モデル）ベースのテキスト回帰に関する多くの応用では、単一の点値ではなく、完全な条件付き分布の予測が必要となります。本研究では、経験分位点（empirical-quantile）による教師信号のもとでの分布回帰を扱います。ここでは、各入力が複数の観測分位結果と対応付けられ、目標とする分布は分位点の密なグリッドによって表現されます。私たちは、現在の手法における2つの主要な制約に取り組みます。すなわち、分布推定に対する局所的な根拠（local grounding）の欠如、そして入力と分位出力の間に間接的なボトルネックを生み出す共有表現への依存です。本論文では、私たちの知る限り、入力系列に専用の分位トークンを挿入し、自己注意（self-attention）を通じて各分位に対して直接的な入力—出力経路を可能にする、分位トークン回帰（Quantile Token Regression）を提案します。さらに、これらの分位トークンを検索（retrieval）で拡張し、意味的に類似した近傍インスタンスとそれらの経験分布を組み込むことで、類似インスタンスからの局所的な根拠により予測を支えます。また、分位回帰の損失関数に関する最初の理論的分析を提示し、それぞれがどの分布目標を最適化しているのかを明確にします。パラメータ数1.7Bから14BのLLMを用いた Inside Airbnb および StackSample ベンチマークデータセットでの実験では、近傍を伴う分位トークンが一貫してベースラインを上回り（約4点のMAPE低下および予測区間の幅が2倍に縮小）、特に、小規模でより難しいデータセットにおいて大きな改善が見られます。そこでは、分位トークンが実質的により鋭く、かつより正確な分布を生成するためです。