Satellite-to-Street: 生成ビジョンモデルによる衛星画像からの災害後ストリート視点の合成

要旨: 自然災害が発生した直後において、迅速な状況認識は極めて重要である。従来は、衛星画像観測が損害の範囲を推定するために広く用いられてきた。しかし、それらは特定の構造的な故障や被害の影響を特徴づけるのに不可欠な地上レベルの視点を欠いている。一方で、地上レベルのデータ（例：ストリートビュー画像）は、時間制約のある出来事の間では依然としてほとんど入手できない。本研究は、衛星からストリートビューへの合成（Satellite-to-Street View Synthesis）によってこのデータギャップを埋めることを検討する。そこで本研究では、衛星画像から災害後のストリートビューを合成するための2つの生成戦略を提案する。具体的には、(1) Vision-Language Model（VLM）に導かれるアプローチと、(2) 損傷に敏感なMixture-of-Experts（MoE）手法である。さらに、提案するStructure-Aware Evaluation Framework（構造を考慮した評価フレームワーク）を用いて、これらを汎用ベースライン（Pix2Pix、ControlNet）と比較ベンチマークする。このマルチティアのプロトコルは、(1) ピクセルレベルの品質評価、(2) ResNetベースの意味的一貫性の検証、そして(3) 知覚的整合性のための新規なVLM-as-a-Judge（VLMを裁定者として用いる）を統合する。300件の災害シナリオに対する実験により、重要な現実性—忠実度のトレードオフが明らかになった。すなわち、拡散ベースのアプローチ（例：ControlNet）は高い知覚的現実感を達成するものの、しばしば構造の詳細を幻覚（hallucination）してしまう。定量結果では、標準的なControlNetが最も高い意味精度（0.71）を示したのに対し、VLM強化モデルおよびMoEモデルは質感（テクスチャ）のもっともらしさでは優れる一方で、意味の明瞭さには苦戦することが分かった。本研究は、信頼できるクロスビュー合成のためのベースラインを確立するものであり、視覚的に現実味のある生成であっても、信頼性の高い災害評価に必要な重要な構造情報を保存できない可能性があることを強調する。