正確なブラックジャック・オラクルを介したマスクされたアクション環境におけるモデルフリー方策最適化の評価

概要: インフィニットシュー・カジノブラックジャックは、動的にマスクされた行動の下で、離散的な確率的制御のための厳密で検証可能なベンチマークを提供します。固定されたベガス風ルールセット（S17、3:2の配当、ディーラーの覗き見、任意の2でのダブル、スプリット後のダブル、4つまでの再スプリット）のもとで、正確な動的計画法（DP）オラクルが、4,600個の正準的な意思決定セルに対して導出されました。このオラクルは、真値のアクション値、最適ポリシーラベル、および手ごとに-0.00161の理論的期待値（EV）をもたらしました。サンプル効率の良いポリシー回復を評価するために、模擬的な相互作用を通じて、3つのモデルフリー最適化手法を訓練しました：セルごとの指数移動平均ベースラインを用いたマスク付き REINFORCE、同時摂動確率近似（SPSA）、およびクロスエントロピー法（CEM）。REINFORCEは最もサンプル効率が高く、10^6回のハンド後に46.37%のアクション一致率とEV -0.04688を達成し、CEM（39.46%、7.5×10^6回の評価）およびSPSA（38.63%、4.8×10^6回の評価）を上回りました。しかし、すべての手法は著しいセル条件付き後悔を示し、報酬収束が滑らかであるにもかかわらずポリシーレベルの誤りが持続していることを示しました。この差は、状態訪問の著しい疎さと動的アクションマスキングを特徴とする表形式の環境が依然として困難であることを示しており、一方で総和報酬曲線は重要な局所的な失敗を覆い隠す可能性があることを示しています。ネガティブコントロールとして、カウントなしの i.i.d. ドローの下では、最適なベットサイズがテーブルの最小値に崩れることを理論的に証明され、実証的にも確認されました。さらに、より大きな賭け金は期待値を改善せず、ボラティリティと破産リスクをむしろ増大させました。これらの結果は、確率的な変動を本物のアルゴリズム性能と誤って判断しないよう、正確なオラクルとネガティブコントロールの必要性を強調しています。