拡散からのエージェント意図（AID）によるマルチエージェント情報収集経路計画

概要: 大規模または時間的制約の厳しい状況（例：環境モニタリング、捜索救助）における情報収集では、限られた時間予算の中で広範なカバレッジが必要となり、多剤（マルチエージェント）システムの利用が動機づけられる。これらの状況は一般に、多剤間情報経路計画（MAIPP）として定式化され、複数のエージェントが、予算制約のもとで情報獲得量を最大化するために協調しなければならない。MAIPPにおける中心的な課題は、環境に対する信念が到来する観測によって更新されていく中で、効果的な協調を確実に行うことである。近年の学習ベースのアプローチでは、協調を支えるために将来位置に関する分布を「意図」として用いることで、この問題に対処している。しかし、これらの自己回帰的な意図予測器は計算コストが高く、誤差が累積しやすいという欠点がある。拡散モデルが表現力豊かな長期ホライズンの方策として有効であることに着想を得て、本研究では、非自己回帰的に長期の軌跡を生成するために拡散モデルを活用した、完全分散型のMAIPPフレームワークであるAIDを提案する。AIDはまず、既存のMAIPPプランナによって生成された軌跡に対して行動模倣（behavior cloning）を行い、その後、Diffusion Policy Policy Optimization（DPPO）による強化学習を用いて方策を微調整する。この二段階のパイプラインにより、方策は専門家の行動を継承しつつ、オンラインの報酬フィードバックによってより良い協調を学習できる。実験の結果、AIDは学習元のMAIPPプランナに対して一貫して性能を向上させ、実行が4倍高速化し、情報獲得量が最大17%増加することを示した。さらに、エージェント数を増やしても効果的にスケールする。実装は https://github.com/marmotlab/AID で公開している。