MAC: マルチエージェント憲法学習

概要： 憲法AIは、自然言語で書かれた一連のルールに基づいて大規模言語モデル（LLMs）を監視・制御する方法です。これらのルールは通常、人間の専門家によって作成されますが、望ましい行動のための十分な訓練データがあれば、原理的には自動的に学習させることも可能です。既存のLLMベースのプロンプト最適化手法はこれを試みますが、(i) 多くのラベル付き例を必要とすること、(ii) 最適化されたプロンプトの構造が欠如しているため、プロンプトサイズが大きくなると改善効果が薄れていくことから、憲法の学習には効果がありません。これらの制限に対処するため、構造化されたルールの集合として表現されるプロンプトを最適化する、マルチエージェント憲法学習（MAC）を提案します。MACは、ルール更新を受け付け、編集、拒否するという専門的タスクを持つエージェントのネットワークを用いて、構造化されたプロンプトとして表現されたルールセットを最適化します。さらに、MAC+を提示します。MAC+は、成功した軌跡でエージェントを訓練し、更新を強化してより高い報酬を生み出すことでパフォーマンスを向上させます。我々はMACを、解釈可能性が重要な分類タスクである個人を特定可能な情報（PII）のタグ付けで評価し、ツール呼び出しのような他のエージェントタスクにも一般化することを示します。MACは、最近のプロンプト最適化手法を50％以上上回り、人間が読みやすく監査可能なルールセットを生成し、パラメータ更新を必要とせず、教師ありファインチューニングおよびGRPOと同等の性能を達成します。