高ボラティリティとアクションバイアスが、集団協調においてLLMを人間と区別する

Abstract

人間は集団の中で協調する驚くべき能力を示します。大規模言語モデル（LLM）がより高い能力を持つようになるにつれ、それらが同等の適応的な協調を示せるのか、また人間と同じ戦略を用いるのかは、依然として未解決の問いです。この点を調べるために、不完全な監視のもとで共通の関心ゲームにおけるLLMと人間のパフォーマンスを比較します：Group Binary Search（集団二分探索）。このn人ゲームでは、参加者は共通の目的を達成するために行動を協調させる必要があります。プレイヤーはそれぞれ独立に数値を提出し、ランダムに割り当てられた目標数に対して、集団として合計が一致するようにすることを目指します。直接のコミュニケーションがないため、参加者はグループからのフィードバックを頼りに、目標数に到達するまで提出を反復的に調整します。私たちの結果は、人間が時間とともに行動を適応させ、安定化させるのとは対照的に、LLMはしばしばゲームをまたいで改善できず、過剰な切り替えを示すことで、集団の収束を損なうことを示しています。さらに、より豊かなフィードバック（例：数値誤差の大きさ）は人間には大きな利益をもたらす一方で、LLMには小さな効果しかありません。まとめると、人間のベースラインと、反応性のスケーリング、切り替えダイナミクス、ゲームをまたいだ学習といったメカニズムレベルの指標に基づいて分析することで、人間の集団とLLMの集団の間に存在する相違を明らかにし、協調ギャップを埋めるための行動に基づく診断を提示します。