すべてのターンが同じくらい難しいわけではない：効率的なマルチターン推論のための適応的な思考予算

Abstract

LLMの推論性能が頭打ちになる中、推論時の計算効率を改善することは、単純な質問であっても過剰な考え込みや長い思考トレースを抑えるために重要です。長さ正則化、適応的ルーティング、難易度に基づく予算配分などの従来手法は、主にシングルターンの設定に焦点を当てており、多ターン推論に内在する逐次的な依存関係に対処できていません。　本研究では、多ターン推論を逐次的な計算配分問題として定式化し、それを多目的マルコフ決定過程としてモデル化します。提案手法TAB: Turn-Adaptive Budgets（ターン適応型予算）は、Group Relative Policy Optimization（GRPO）によって訓練される予算配分方策であり、問題ごとのトークン上限というグローバルな制約を守りながら、タスク精度を最大化することを学習します。その結果、TABは入力として会話履歴を受け取り、理解しやすいターンにはより小さな予算を適応的に割り当て、重要でより難しい推論ステップに対して適切な数のトークンを温存することを学習します。数学的推論ベンチマークでの実験により、TABは、静的および市販の既製LLMの予算ベースラインと同等の精度を維持しつつ、最大35%のトークンを節約するという、精度とトークンのトレードオフにおいて優れた性能を達成することを示します。さらに、事前にすべての下位質問の計画が利用可能なシステムでは、会話履歴と過去・未来のすべての下位質問に基づいてトークン予算を配分する予算配分方策TAB All-SubQを提案し、ベースラインに対して最大40%のトークンを節約できます。