仮想エージェントによる魚群の閉ループ誘導のための深層強化学習フレームワーク

要旨: 生物の群れにおける集合的な運動の導出（ガイダンス）を導くことは、社会的相互作用のルールを理解し、動物管理のための自動化システムを開発するうえで根本的な課題である。本研究では、仮想エージェントを用いた魚の群れに対する閉ループの誘導のための深層強化学習（RL）枠組みを提案する。これらのエージェントは、シミュレーション上で近傍政策最適化（Proximal Policy Optimization: PPO）により学習された方策によって制御され、rummy-nose tetras（Petitella bleheri）を用いた物理実験に展開される。これにより、人工エージェントと生体の個体との間のリアルタイムな相互作用が可能になる。生体個体の確率的な行動に対処するため、方向性の導出と社会的な凝集（ソーシャル・コヒージョン）のバランスを取る合成報酬関数を設計する。視覚パラメータの体系的な評価により、白い背景とより大きい刺激サイズが、物理試験における導出の有効性を最大化することが示された。さらに、群れのサイズにわたる評価では、システムが5個体の群れに対して有効な導出を示す一方で、群れのサイズが8へ増加すると、その能力が著しく低下することが明らかになった。本研究は、生物の集合体に対する自動化された導出における深層RLの可能性を示すとともに、より大きな群れにおいて人工的な影響を維持することに伴う課題を明らかにする。