パラノイアの代償：非定常なマルチエージェント強化学習における頑健なリスク感応的協調

概要: 協調均衡は脆い。エージェントが固定された環境の中で互いに学習するのではなく、相互に学習しながら進めると、彼らが維持しようとしている協調を不安定化させる形で学習プロセスが作用する。エージェントが行う各グラディエントステップは、その相手が取りうる行動の分布を変化させ、協調の意思決定が最も敏感な場面で、協調的な相手をまさに協調が揺らぐ方向に確率的なノイズの発生源へと変えてしまう。私たちは、この共同学習ノイズが協調ゲームの構造を通じてどのように伝播するかを研究し、協調均衡が、たとえ強くパレート優位であっても、標準的なリスク中立の学習のもとでは指数関数的に不安定であり、相手側のノイズがゲームの臨界的な協調閾値を超えると不可逆的に崩壊することを見出す。相手の不確実性に対するヘッジとして分布的ロバストネスを適用するという自然な応答は、むしろ状況を厳密に悪化させる。すなわち、リスク回避的なリターン目的関数は、防御（defection）に比べて高分散な協調行動を罰し、縮小ではなく不安定領域を拡大する。これは、ロバストネスが適用される領域と、不安定さが生じる領域との間に根本的な不一致があることを示す逆説である。私たちはこれを、ロバストネスがリターン分布ではなく、相手の不確実性によって誘発される方策勾配の更新分散を対象にすべきであることを示すことで解決する。この区別により、対称的な協調ゲームにおいて、相手の予測不能性をオンラインで測定することで勾配更新が調整され、協調のベース（basin）が理論的に拡張されるアルゴリズムが得られる。安定性、サンプル複雑性、そしてこのアプローチがもたらす厚生（welfare）への帰結を統一的に理解するために、私たちはパラノイアの価格（Price of Paranoia）を、アナーキーの価格（Price of Anarchy）の構造的な双対として導入する。さらに新しい協調ウィンドウ（Cooperation Window）とともに、相手側のノイズ下で学習アルゴリズムがどれだけ厚生を回復しうるかを正確に特徴づけ、平衡の安定性とサンプル効率の間の閉形式のバランスとして、ロバストネスの最適な度合いを特定する。