UT-ACA: 長文推論のための不確実性に基づく適応的コンテキスト割り当て

要旨: 長い文脈での推論は、注意の薄まりと分布外の劣化のため、巨大言語モデルにとって依然として難題です。コンテキスト選択は、キーとバリューのキャッシュエントリの一部に注目することでこの制約を緩和しますが、多くの手法はデコード全体を通じて固定の文脈予算を割り当てており、トークンレベルの文脈需要が非常に不均一であるにもかかわらずです。これを解決するため、Uncertainty-Triggered Adaptive Context Allocation (UT-ACA) という推論時フレームワークを提案します。これはトークンごとの不確実性に基づいて文脈ウィンドウを動的に調整します。UT-ACA は、意味埋め込みとロジットベースの信頼度を組み合わせた不確実性検出器を学習し、デコードの各段階における不確実性の蓄積を考慮します。証拠が不十分と示された場合、UT-ACA は選択的にロールバックし、文脈ウィンドウを拡張し、追加のサポートとともにトークンを再生成します。実験結果は、長い文脈設定において平均的な文脈使用量を大幅に削減しつつ、生成品質を維持できることを示しています。