PowerFlow: 原理的な分布マッチングを通じてLLMsの二面性を解き放つ

概要: 内部フィードバックからの教師なし強化学習（RLIF）は、外部監督なしで大型言語モデル（LLMs）の潜在能力を引き出す有望なパラダイムとして浮上してきました。しかし、現在の手法はヒューリスティックな内部報酬に依存しており、しばしば定義された理論的最適化目標を欠き、退化的なバイアスに陥りがちです。本研究では、外部監督なしのファインチューニングを分布マッチング問題として再定式化する原理的なフレームワークである PowerFlow を提案します。GFlowNet を未正規化密度のアモルタイズド変分サンプラーとして扱うことにより、長さを考慮した Trajectory-Balance（軌道バランス）目的を提案します。\alpha-power 分布をターゲットとすることで、PowerFlow は 大型言語モデル（LLMs）の二重性を方向性を持って引き出すことを可能にします。分布を鋭くする（\alpha > 1）ことで論理的推論を強化し、分布を平坦化する（\alpha < 1）ことで表現的創造性を解き放ちます。大規模な実験により、PowerFlow は既存の RLIF 手法を一貫して上回り、教師あり GRPO に匹敵する、あるいはそれを上回ることさえあることを示しています。さらに、整合モデルにおける過鋭化を抑制することによって、多様性と品質の同時向上を達成し、創造的タスクにおけるパレート前線を動かします。