EVGeoQA：動的かつ多目的なジオ空間探索におけるLLMのベンチマーク評価

Abstract

大規模言語モデル（LLM）は目覚ましい推論能力を示す一方で、動的なジオ空間環境における目的志向の探索の可能性は、十分に調査されていない。本来の実問題における計画の複雑さ――すなわち、動的なユーザ位置と複合的な制約を伴う状況――を捉えられていないため、既存のジオ空間質問応答（GSQA）ベンチマークは主として静的な検索に焦点を当てている。このギャップを埋めるために、EVGeoQAという新しいベンチマークを提案する。EVGeoQAは、電気自動車（EV）の充電シナリオに基づいて構築され、位置に根ざした設計と二重の目的（dual-objective）を特徴とする。具体的には、EVGeoQAの各クエリはユーザの実時間座標に明示的に結び付けられ、充電の必要性と、同一地点での活動を好むことの二つの目的を統合している。このような複雑な状況でモデルを体系的に評価するために、さらにGeoRoverという一般的な評価フレームワークを提案する。GeoRoverは、ツール拡張されたエージェント・アーキテクチャに基づくもので、LLMが動的で多目的な探索を行う能力を評価する。実験の結果、LLMは下位タスクに対処するためにツールをうまく活用できる一方で、長距離の空間探索では難しさがあることが分かった。特筆すべきは、創発的な能力を観察した点である。LLMは探索効率を高めるために、過去の探索軌跡を要約できる。これらの知見は、EVGeoQAを今後のジオ空間知能にとって難度の高いテストベッドとして位置付ける。データセットとプロンプトは https://github.com/Hapluckyy/EVGeoQA/ で公開されている。