NeSy-Route: リモートセンシングにおける制約付き経路計画のニューラル-シンボリックベンチマーク

要約：リモートセンシングは、災害救援や生態系の野外調査など、システムが複雑な場面と制約を理解し、信頼性の高い意思決定を行う必要がある重要な応用を支える。
現在のリモートセンシングベンチマークは主に、マルチモーダル大規模言語モデル（MLLMs）の知覚と推論能力の評価に焦点を当てている。
彼らは計画能力を評価できていない。規模の大きな計画タスクの作成と検証の難しさや、正確で不十分な評価プロトコルに起因する。
これらの制限に対処するため、リモートセンシングにおける制約付きルート計画のための大規模な神経-シンボリックベンチマークである NeSy-Route を導入する。
このベンチマークの中で、精度の高いセマンティックマスクとヒューリスティック探索を組み合わせ、証明可能な最適解を持つ多様なルート計画タスクを生成する自動データ生成フレームワークを導入する。
これにより NeSy-Route は 10,821 件のルート計画サンプルを網羅的に評価でき、従来の最大ベンチマークの約10倍に相当する。
さらに、知覚・推論・計画を同時に正確に評価し、細かな分析を支援する三レベルの階層的な神経-シンボリック評価プロトコルを開発した。
我々のさまざまな最先端MLLMの包括的な評価は、既存のMLLMsが知覚および計画能力において重大な欠陥を示すことを示しています。
NeSy-Route がリモートセンシングのためのより強力なMLLMsのさらなる研究開発を支援できることを願っています。