エージェントにおけるActor-Observer非対称性を弁証法的アラインメントで抑える

要旨: 大規模言語モデルのエージェントは、静的なテキスト生成器から、複雑な自律ワークフローを実行できる動的システムへと急速に進化してきました。信頼性を高めるために、専門的な役割を割り当てるマルチエージェントの枠組みが、自己省察や相互監査を可能にするものとしてますます採用されています。このようなロールプレイはドメインの専門家知識を効果的に活用する一方で、同時にActor-Observer Asymmetry（AOA）として知られる人間らしい認知バイアスを誘発することを、私たちは見出しました。具体的には、（自己省察の際に）俳優（actor）として振る舞うエージェントは失敗を外的要因に帰属しがちであるのに対し、（相互監査の際に）観察者（observer）は同じ誤りを内的な欠陥に帰属しがちです。私たちは新しいAmbiguous Failure Benchmark（曖昧な失敗ベンチマーク）を用いてこれを定量化しました。その結果、単に視点を入れ替えるだけで、ほとんどのモデルにおいて20%超のケースでAOA効果が引き起こされることが分かりました。このバイアスを抑えるために、私たちはReTAS（Thesis-Antithesis-Synthesis による推論）を提案します。これは、弁証法的整合によって訓練され、視点不変な推論を強制するモデルです。弁証法的なchain-of-thought（思考の連鎖）とGroup Relative Policy Optimizationを統合することで、ReTASは、対立する見解を統合して客観的な合意へ導きます。実験により、ReTASが帰属の不一致を効果的に軽減し、曖昧な状況におけるフォールト解決率を大幅に向上させることが示されています。