Top-b: 自己回帰言語生成プロセスにおける相対確率帯のエントロピーによる規制

要旨： 確率的言語生成器は理論的には離散確率過程としてモデル化されるが、標準のデコード戦略（Top-k、Top-p）は自然言語の動的情報密度を取り込むことのできない静的な切り捨て規則を課す。この不整合はしばしば最適でないトレードオフを強いる。静的境界は高エントロピーの創造的生成には厳しすぎるか、低エントロピーの論理的推論には緩すぎる。 本研究では、生成プロセスを相対確率多様体を通る軌跡として形式化する。Top-b（適応相対帯域サンプリング）を導入する。これはモデルの分布の瞬時シャノンエントロピーに厳密に結合された動的帯域係数を介して候補集合を調整するデコード戦略である。 Top-b が尾部分布上の分散を最小化する作用素として機能することを示す理論的枠組みを提供する。 GPQA および GSM8K ベンチマークでの経験的検証は、Top-b が生成エントロピーとデコード間分散を大幅に低減しつつ、推論精度を競争力のある水準に維持することを示しており、自己調整型制御システムを自己回帰生成へ効果的に近似している。