長文生成の安定化に関する研究：ベンチマークと長さの揺らぎ（バリアンス）の抑制
arXiv cs.CL / 2026/5/5
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- この論文では、長文テキスト生成における「長さのボラティリティ（揺らぎ）」を体系的に測定するためのVOLTBenchベンチマークを提案し、出力の長さ不安定性を単発の生成品質以上の観点として扱っています。
- アテンション・トレース解析により、長さの揺らぎの要因となるモデル内部の共通パターンを詳細に特定しています。
- 追加学習なしで、デコード段階の軽量な最適化としてGLoBo（Stable Generation via Logits Boosting）を提案し、長さの精度と安定性を向上させます。
- VOLTBenchでの実験では、主流LLMに長文生成の深刻な不安定性が見られることを体系的に確認し、提案手法によって平均出力長が148%向上し、長さの揺らぎが69%低減される一方で生成品質は維持されることを示しています。
