SHAP分析に基づくロボティクスにおける強化学習の一般化可能性向上：アルゴリズムとハイパーパラメータの影響

arXiv cs.RO / 2026/5/5

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

強化学習（RL）はアルゴリズムやハイパーパラメータへの感度が高く、環境間での一般化ギャップが実運用の障害になっているが、個別設定がギャップへ与える寄与は定量的に分解されていなかった。
本研究は、ロボティクス環境でのRL性能をSHapley Additive exPlanations（SHAP）で評価し、各設定が一般化に与える影響を定量化する説明可能なフレームワークを提案している。
Shapley値と一般化可能性の関係を理論的に結び付け、実験で設定が与える影響のパターン（アルゴリズム／ハイパーパラメータ別の特徴）を分析した。
SHAPに基づく設定選択（SHAP-guided configuration selection）により、設定の選び方を改善してRLの一般化性能を高め、実務者向けの実行可能な指針を示した。

要旨: 強化学習（RL）において大きな進展があったにもかかわらず、モデル性能はアルゴリズムやハイパーパラメータの構成に対して依然として高度に敏感であり、さらに環境をまたいだ一般化ギャップが現実の導入を複雑にしています。先行研究ではRLの一般化が検討されてきましたが、一般化ギャップに対する特定の構成の相対的な寄与は定量的に分解されておらず、また構成選択のために体系的に活用されてもいません。こうした制約に対処するために、本研究ではSHapley Additive exPlanations（SHAP）を用いてロボット環境にわたるRL性能を評価し、構成の影響を定量化する、説明可能な枠組みを提案します。われわれは、Shapley値と一般化可能性を結び付ける理論的基盤を確立し、構成の影響パターンを経験的に分析するとともに、一般化を高めるためのSHAPに導かれた構成選択を導入します。その結果、アルゴリズムやハイパーパラメータにまたがって明確なパターンが見られ、多様なタスクおよび環境において一貫した構成の影響が確認されます。これらの知見を構成選択に適用することで、RLの一般化可能性が向上し、実務者にとって実行可能な指針を提供できます。