合理的に推論するAIエージェントは、ゼロショット環境においてゲーム理論的な失敗を回避できることが証明可能である

概要: AIエージェントは、反復的なAI-AI相互作用で特徴づけられる対話的な経済環境において、ますます展開されつつあります。AIエージェントの高度な能力にもかかわらず、経験的研究はこのような相互作用がしばしば戦略的均衡、例えばナッシュ均衡を安定的に誘導するには不十分であることを示しています。後訓練法は戦略的均衡を誘導するために提案されてきましたが、戦略的設定において、多様で独立に開発されたAIモデル全体に対して一様にアラインメント手法を適用することは現実的には困難です。本論文では、市販の推論AIエージェントが明示的な後訓練なしでゼロショットでナッシュ様のプレイを達成できるという、理論的・経験的証拠を提供します。具体的には、すなわち「合理的に推論する」エージェント、すなわち過去の観察から他者の戦略についての信念を形成し、これらの信念に対して最善応答を学習するエージェントは、継続ゲームのほとんど実現されたプレイ経路に沿って、実現経路上のナッシュ均衡に弱く近い振る舞いを最終的に示すことを証明します。さらに、段階報酬を未知とすることを許容し、各エージェントが自分自身が実現した確率的報酬のみを観測するようにすることで、共通知識の報酬仮定を緩和します。そして、実現経路上のナッシュ収束保証を同じく達成できることを示します。次に、提案された理論を経験的に検証するため、反復囚人のジレンマゲームの繰り返しから、様式化された反復的マーケティング促進ゲームまでの5つのゲームシナリオをシミュレートして検証します。私たちの知見は、AIエージェントがこのような推論パターンを自然に示し、したがって内在的に安定した均衡挙動を獲得することを示唆しており、多くの現実世界の戦略的相互作用において普遍的なアラインメント手続きの必要性を排除することを示しています。