MAR-GRPO：AR拡散ハイブリッド画像生成のための安定化GRPO

Abstract

強化学習（RL）は、自己回帰（AR）モデルや拡散モデルにうまく適用されてきました。しかし、ハイブリッドAR-拡散フレームワークへRLを拡張することは、推論が交互に行われることや対数尤度の推定がノイジーであることにより、依然として難しい課題です。本研究では、マスク付き自己回帰モデル（MAR）を検討し、拡散ヘッドが学習ダイナミクスにおいて重要な役割を果たしていることを示します。拡散ヘッドはしばしばノイジーな勾配を導入し、不安定性や初期段階での性能飽和につながります。この問題に対処するため、MAR向けの安定化されたRLフレームワークを提案します。複数軌道期待（MTE）を導入し、複数の拡散軌道にわたって平均を取ることで最適化の方向を推定し、拡散に起因する勾配ノイズを低減します。過度な平滑化を避けるために、さらに複数軌道からトークンごとの不確実性を推定し、多軌道最適化を不確実性が上位k%のトークンにのみ適用します。加えて、最終的に生成される内容との整合性がより低いARトークンを除外する、整合性を意識したトークン選択戦略も導入します。複数のベンチマークにわたる大規模な実験により、本手法がベースラインのGRPOおよび事前RLモデルに比べて、視覚品質、学習安定性、そして空間構造の理解を一貫して向上させることを示します。コードは以下で公開されています: https://github.com/AMAP-ML/mar-grpo.