PReD：電磁（EM）認識、認識・識別、意思決定のためのLLMベース基盤マルチモーダルモデル

Abstract

マルチモーダル大規模言語モデルは、一般的な領域において強力なクロスモーダル理解と推論能力を示してきました。しかし、電磁（EM）領域では、データ不足や領域知識の統合が不十分であるといった課題に依然として直面しています。本論文では、「知覚（perception）、認識（recognition）、意思決定（decision-making）」のインテリジェントなクローズドループを扱う、電磁領域のための最初の基盤モデルであるPReDを提案します。高品質なマルチタスクEMデータセットであるPReD-1.3Mと、評価ベンチマークであるPReD-Benchを構築しました。データセットは、時系列の生波形、周波数領域のスペクトログラム、コンステレーション図などの多視点表現を網羅し、通信信号およびレーダ信号に典型的な特徴をカバーしています。信号検出、変調認識、パラメータ推定、プロトコル認識、無線周波数フィンガープリント認識、対ジャミング意思決定など、幅広い中核タスクをサポートします。PReDは、EM信号に対する複数タスクを統合する多段階の学習戦略を採用しています。エンドツーエンドの信号理解から、言語に導かれる推論と意思決定までのクローズドループ最適化を実現し、一般的なマルチモーダル能力を維持しつつ、電磁領域の専門性を大幅に向上させます。実験結果は、PReDが、オープンソースおよび自己収集した信号データセットの両方から構築されたPReD-Benchにおいて最先端の性能を達成することを示しています。これらの結果は総合的に、視覚整合型の基盤モデルがEM信号の理解と推論を前進させるうえでの実現可能性と潜在力を裏付けています。