要旨: 多腕バンディット（MAB）問題のためのアルゴリズムは、逐次的な意思決定において中心的な役割を果たしており、理論的にも数値的にも広く探究されてきました。従来の多くのアプローチは、期待報酬が最も高い腕（アーム）を特定することを目的としていますが、本研究では、不確実性の高い大きなリターンよりも安定性を優先する、分散が最小の腕を選択することを目標とするリスクを考慮した設定に焦点を当てます。意思決定過程をモデル化するために、方策のソフトマックスによるパラメータ化を考えます。最小分散（または最小リスク）の腕を選択するための新しいアルゴリズムを提案し、自然な条件の下でその収束性を証明します。このアルゴリズムは、現在の腕の分布から2つの独立した抽出を用いることで、目的関数の偏りのない推定量を構成します。これらのアルゴリズムの実際の振る舞いを示す数値実験を提示し、実装上の選択に関する指針も提供します。この設定は、平均報酬の最大化とその分散の最小化の間にトレードオフが存在する、より一般的なリスクを考慮した問題も包含します。
分散最小化とリスク回避型マルチアームドバンディットのためのソフトマックス勾配ポリシー
arXiv cs.AI / 2026/4/2
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、期待報酬が最大の腕を選ぶのではなく、報酬分散が最小の腕の選択を優先するリスク回避型マルチアームドバンディット設定を研究する。
- ソフトマックスでパラメータ化されたポリシーを用い、腕の分布から独立な2つの抽出に基づいて構成した不偏推定量に基づく新しいアルゴリズムを導入する。
- 著者らは、自然な仮定のもとで提案する分散最小化／リスク回避手法の収束を証明する。
- 数値実験を通じて、実運用上の挙動と実装上の選択に役立つ知見を示す。さらに、平均報酬と分散のバランスをとる設定への拡張も扱う。
- 全体として、本研究は安定性を重視した意思決定へとバンディット理論を広げ、リスクを考慮した最適化におけるトレードオフ全般に適応可能な手法を提供する。
