推論LLMにおける冗長なリフレクションを減らすためのグラフベースの思考連鎖（Chain-of-Thought）剪定

要旨: RLによってCoTを拡張することは、LLMの推論能力を高めるために広く用いられてきました。しかし、報酬信号が疎であるため、過度に考え込むなどの望ましくない思考パターン、つまり冗長な中間推論コンテンツを生成してしまうことも引き起こし得ます。本研究では、このような冗長性の主要な原因は非効率なリフレクション（内省）であり、多くの場合、次の2つの問題パターンとして現れると主張します。すなわち、無差別なリフレクション（Indiscriminate Reflection）では、推論の途中で広範かつ影響の小さいチェックを行ってしまい、反復的なリフレクション（Repetitive Reflection）では、すでに確立された結論を繰り返し再検証してしまいます。これに対処するために、グラフベースのCoT最適化フレームワークを導入します。具体的には、各線形のCoTを、明示的な依存関係エッジを持つ有向非巡回グラフ（DAG）へ変換し、デュアル（2段階）プルーニング戦略を設計します。分岐レベルのプルーニングでは、弱く寄与するリフレクション分岐を除去し、深さレベルのプルーニングでは、後段での再検証を排除します。この挙動を、3段階のパイプラインで蒸留します。（1）プルーニングされた簡潔なトレース上で方策を初期化するためのSFT、（2）正しいが冗長性の少ない軌跡を優先するためのDPO、（3）長さペナルティ付きのGRPOで、回答の正確さと効率を同時に最適化します。実験の結果、提案手法は平均推論トークン数を42 ext{%}削減しつつ、精度を維持、あるいは向上させることが示されました。