Agentic RLの「見えない崩壊」：エントロピーでは検出できないTemplate Collapse
Zenn / 2026/4/16
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- Agentic RLにおけるTemplate Collapse（テンプレート依存の学習崩壊）が、エントロピー指標だけでは検出できない問題を論じている
- 「見えない崩壊」という観点で、従来の不確実性・多様性の測定（例: エントロピー）では異常状態を捉えにくいメカニズムがあることを示唆している
- テンプレートに収束してしまう振る舞いが、学習の進捗や挙動の外形上は維持されているように見える可能性がある
- エントロピー以外の診断指標・評価設計の必要性（監視方法の見直し）に焦点がある
Agentic RLの「見えない崩壊」：エントロピーでは検出できないTemplate Collapse
多ターンLLM Agentの強化学習訓練中、モデルは「推論できているつもり」で入力無関係なテンプレート出力に陥る。既存のエントロピーベースの指標ではこれを検出できない。RAGEN-2は、相互情報量（Mutual Information）による診断とSNR-Aware Filteringによる解決策を提案する。
TL;DR
Agentic RL訓練中、エントロピーは安定しているのに推論が実質的に崩壊する「Template Collapse」が発生する
エントロピーは「同一入...
この記事の続きは原文サイトでお読みいただけます。
原文を読む →
