逐次的社会的ジレンマに対するLLMポリシーの合成における協力と搾取

要旨：私たちはLLMポリシー合成を研究します。大規模言語モデルを用いてマルチエージェント環境のためのプログラム的なエージェントポリシーを反復的に生成する、ということです。強化学習によってニューラルポリシーを訓練する代わりに、私たちのフレームワークはLLMにPythonポリシー関数を生成させ、それらを自己対戦で評価し、反復を通じてパフォーマンスフィードバックを用いて改良します。改良中にLLMへ提示される評価情報の設計（フィードバックエンジニアリング）を調査し、疎なフィードバック（スカラー報酬のみ）に対して密なフィードバック（報酬と社会指標：効率、平等、持続可能性、平和）を比較します。二つの標準的な逐次的社会的ジレンマ（Gathering および Cleanup）と二つの最前線のLLM（Claude Sonnet 4.6、Gemini 3.1 Pro）にわたり、密なフィードバックはすべての指標で疎なフィードバックと一致するか上回ることを一貫して示しました。利点は Cleanup の公共財ゲームで最も大きく、社会指標を提供することでLLMが高コストな清掃-収穫のトレードオフを校正するのを助けます。公正性の過剰最適化を引き起こす代わりに、社会指標は協調のシグナルとして機能し、LLMをより効果的な協力戦略へと導きます。これには領土の分割、適応的な役割割り当て、無駄な攻撃の回避が含まれます。さらに、LLMsがこれらの環境を報酬を改ざんする形で操作できるかを判断する敵対的実験を行います。我々は五つの攻撃クラスを特徴づけ、対策について論じ、表現力と安全性の間の本質的な緊張を浮き彫りにします。
コードは https://github.com/vicgalle/llm-policies-social-dilemmas にあります。