ExpressMind: 高速道路運用向けのマルチモーダル事前学習済み大規模言語モデル

要約: 現在の高速道路運用は、ルールベースのモデルと孤立したモデルに依存しており、異なるシステム間で知識を共同分析する能力を制限します。一方、大型言語モデル（LLMs）は知能的交通分野においてますます適用され、交通モデルをアルゴリズム的から認知的知能へと進化させています。しかし、一般的な LLM は高速道路分野における規制とイベントの因果関係を非定型の状況で効果的に理解することができません。したがって、本論文は高速道路向けの事前学習済みマルチモーダル大型言語モデル（MLLM）ExpressMind を構築し、知能的な高速道路運用の認知核として機能させます。本論文は、データ不足を克服するために、交通知識テキスト、緊急推論チェーン、および注釈付きビデオイベントを網羅する業界初のフルスタック高速道路データセットを構築します。本論文は、自己教師付き学習と無監督学習に基づくデュアルレイヤーのLLM事前学習パラダイムを提案します。さらに、本研究は、高速道路知識ベースを動的にインデックス化するグラフ拡張型RAGフレームワークを導入します。高速道路のインシデント対応戦略の推論を強化するため、モデルの推論と専門家の問題解決ヒューリスティックとの一貫性を RL整合型 Chain-of-Thought（RL-CoT）メカニズムによって強制します。最後に、ExpressMind は視覚チャネルとテキストチャネルの動的特徴列を整合させるクロスモーダルエンコーダを統合し、動画モダリティと画像モダリティの両方で交通シーンを理解できるようにします。新たに公開したマルチモーダル高速道路ベンチマークでの広範な実験により、ExpressMind はイベント検出、安全応答生成、複雑な交通分析の分野で既存のベースラインを包括的に上回ることが示されました。コードとデータは以下から利用可能です: https://wanderhee.github.io/ExpressMind/