LLM駆動のソーシャルメディア画像からの洪水深推定: 交通レジリエンスのための機械的解釈性を備えたビジョン-ランゲージモデルフレームワーク

要旨: 都市部の洪水は輸送ネットワークの連続性に対する脅威を増大させていますが、現時点で動的ルーティング、電気自動車（EV）の安全性、自動運転車（AV）の運用に必要なセンチメートル分解能の街路レベルの洪水深情報をリアルタイムで提供する運用システムは存在しません。本研究はFloodLlamaを提示します。単一の街路レベル画像からの連続洪水深推定のための微調整済みのオープンソースのビジョン-言語モデル（VLM）で、TikTokデータを使用するマルチモーダルセンシングパイプラインによってサポートされます。約190,000枚の画像からなる合成データセットを生成し、7つの車両タイプ、4つの天候条件、41の深さレベル（1cm解像度で0-40 cm）をカバーします。漸進的カリキュラム学習により粗いレベルから細かいレベルへの学習が可能となり、LLaMA 3.2-11B VisionはQLoRAを使用してファインチューニングされました。34797件の試験にわたる評価は、深さ依存のプロンプト効果を示しています。単純なプロンプトは浅い洪水時にはより良く機能しますが、思考過程（CoT）推論はより深い洪水時に性能を向上させます。FloodLlamaは深い洪水に対して平均絶対誤差（MAE）を0.97 cm未満、Acc@5cmを93.7%超で達成し、浅い深さでは96.8%を超えます。5段階の機械的解釈可能性フレームワークは、深さエンコード遷移の臨界点としてL23レイヤーを特定し、訓練可能パラメータを76-80%削減しつつ精度を維持する選択的ファインチューニングを可能にします。Tier 3構成は実世界データで98.62%の精度を達成し、視覚的遮蔽下での頑健性が高いことを示します。デトロイトからの676の注釈付き洪水フレームで検証されたTikTokベースのデータパイプラインは、リアルタイムで群衆が提供する洪水感知の実現可能性を示します。提案されたフレームワークは、EVの安全性、AVの展開、そしてレジリエントな交通管理に直接的な影響を持つ、スケーラブルでインフラストラクチャーフリーのソリューションを提供します。