生成モデルを人間のような協調的行動の「インタラクティブな創発的表象」として評価する

要旨: 人間とAIの協働には、有効な調整のためにAIエージェントが人間の行動を理解することが必要である。基盤モデルの進展により、人間らしい振る舞いの理解や表出に有望な能力が示されている一方で、身体化された協働環境への適用にはさらなる調査が必要である。本研究は、身体化された基盤モデルエージェントが、協働相手の基盤となる心的モデルを示唆する創発的な協働行動を示すかどうかを検討する。これは、効果的な調整の重要な側面である。本論文では、大規模言語モデルエージェントと人間が協調を要する色合わせタスクを遂行するための2D協働ゲーム環境を構築する。創発的な心的モデル表現の指標として、視点取得、協働相手を意識した計画、内省、心の理論、明確化の5つの協働行動を定義する。LLMベースの判定者を用いた自動行動検出システムにより、これらの行動を同定し、人手による注釈と対して公平から相当な一致を達成する。自動行動検出システムから得られた結果は、基盤モデルが、それを明示的に学習されていないにもかかわらず、常に創発的な協働行動を示すことを示している。これらの行動は協働の各段階において生起頻度が異なり、異なるLLM間で異なるパターンが観察される。さらに、人間の満足度および協働の有効性に対する認知を評価するためのユーザースタディも実施した。その結果は、肯定的な協働体験が示された。参加者は、エージェントのタスクへの集中、計画の発話、主導性を評価しつつ、応答時間や人間らしい相互作用の改善を提案した。本研究は、人間-AI協働のための実験的枠組み、身体化されたLLMエージェントにおける協働行動の実証的根拠、検証された行動分析手法、ならびに協働有効性の評価を提供する。