集団的エージェンシーの因果的基礎

要旨：高度なAIシステムの安全性にとっての重要な課題の一つは、複数のより単純なエージェントが、意図せずに、個々のエージェントとは異なる能力や目標を持つ集合的なエージェントを形成してしまう可能性である。より一般に、エージェントの集団を統一された集合的エージェントとしてみなせるのはいつかを判断することは、生物学的および人工的システムの双方における相互作用とインセンティブの研究において基礎となる問いである。本研究では、この問いへの答えとして行動に基づく視点を採用し、集団の共同の行動を合理的で目的志向的であるとみなすことで、その集団の行動を首尾よく予測できる場合に、その集団に集合的な主体性（collective agency）を帰属させる。我々は、因果ゲーム（因果ゲームは、戦略的なマルチエージェント相互作用の因果モデルである）と、因果アブストラクション（単純で高レベルのモデルが、より複雑な低レベルのモデルを忠実に捉えるのはいつかを形式化する）を用いて、この集合的主体性の視点を形式化する。本枠組みを用いて、アクター・クリティックモデルにおけるマルチエージェントのインセンティブに関するパズルを解き、さらに異なる投票メカニズムによって示される集合的主体性の程度を定量的に評価することを行う。我々の枠組みは、マルチエージェントAIシステムにおいて創発的な集合的エージェントを理解し、予測し、制御するための理論的および実証的研究の基盤を提供することを目指している。