マルチモーダルAIはいつ役立つのか？衛星・地上（NTN–TN）ネットワークにおけるスペクトラム管理のための視覚言語モデルとCNNの診断的補完性
arXiv cs.CV / 2026/4/7
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、衛星・地上（NTN–TN）協調ネットワークにおけるスペクトラム・ヒートマップ理解では、マルチモーダル視覚言語モデル（VLM）と軽量CNNのそれぞれに強みがあり、両者を直接の代替として扱うべきではないと主張している。
- 4段階のタスク粒度（シーン分類、領域推論、空間ローカライゼーション、セマンティック推論）にまたがる、108K件の視覚質問応答ペアからなるベンチマークSpectrumQAを導入する。
- 固定化したQwen2-VL-7Bと学習済みResNet-18を用いた実験により明確な補完性が示される。CNNは重症度分類（72.9%精度）と空間ローカライゼーション（0.552 IoU）で最良の性能を示す一方、VLMはCNNでは達成できないセマンティック推論を一意に可能にする（F1=0.576）。
- chain-of-thought（思考の連鎖）によるプロンプトは、VLMのセマンティック推論を12.6%改善する（F1: 0.209→0.233）が、空間タスクの性能は変えない。これは、改善がプロンプト単独ではなくアーキテクチャ差によるものであることを示唆する。
- 決定論的ルータは、教師ありの空間タスクをCNNへ、推論タスクをVLMへ振り分ける。その結果、合成スコアは0.616となり、CNN単体に対して39.1%向上する。また、ほとんどの転移方向においてVLM特徴はより強いシナリオ間ロバスト性を示す。
