価値を考慮した介入による人間のパフォーマンス向上：チェスにおける事例研究

Abstract

AIシステムは、逐次的な意思決定タスクにおいて人間を支援するためにますます利用されているが、AIアシスタントがいつ、どのように介入すべきかを判断することは、根本的な課題である。潜在的なベースラインは、強力なモデルに基づいて最適な行動を推奨することだ。しかし、そのような行動は、最適な追従行動が取られることを前提としており、人間の意思決定者がそれを実行できない可能性があるため、全体の性能が低下しうる。本研究では、強化学習における基本原理に動機づけられた、価値を考慮した介入（value-aware interventions）を提案し、検討する。この原理は、ベルマン方程式のもとでは、最適方策が「即時の報酬に加えて価値関数を最大化する」行動を選択するというものである。意思決定者が劣った（suboptimal）方策に従うと、この方策と価値の整合性（policy-value consistency）はもはや成り立たず、方策によって取られる行動と、「即時の報酬に加えて次状態の価値」を最大化する行動との間に食い違いが生じる。これらの方策と価値の不整合は、介入の機会を自然に特定することを示す。さらに、AIアシスタントが介入予算の範囲内で人間の行動を上書きできるマルコフ決定過程として、この問題を形式化する。単一介入の状況では、最適な戦略は、人間の価値関数を最大化する行動を推奨することだと示す。複数回の介入がある設定では、方策と価値の不整合の大きさに基づいて介入を優先する、扱いやすい近似手法を提案する。これらの考えを、チェスの領域で、大規模な対局データから人間のモデルを学習することで評価する。シミュレーションでは、提案手法は、幅広い設定において、最強のチェスエンジン（Stockfish）に基づく介入を一貫して上回る。さらに、20人の参加者と600ゲームからなる被験者内（within-subject）の人間研究により、本提案の介入は、低〜中スキルのプレイヤーの性能を有意に改善し、高スキルのプレイヤーに対してはエキスパート・エンジンによる介入と同程度の結果を示すことを明らかにする。