VLMaterial：物理に根ざした材質識別のための視覚・言語モデルに基づくカメラ—レーダー・フュージョン

要旨: 正確な材料認識は、知的知覚システムが物理世界と安全かつ効果的に相互作用するための基本的な能力である。例えば、ガラス製とプラスチック製のカップのように見た目が非常に似た物体を見分けることは安全のために重要であるが、鏡面反射、透明性、そして視覚的な欺瞞のために、視覚ベースの手法では困難である。ミリ波（mmWave）レーダーは照明に左右されずに頑健な材料センシングを可能にする一方で、既存のカメラ-レーダー融合手法はクローズドセットのカテゴリに限られており、意味的な解釈可能性を欠いている。本論文では、VLMaterialというトレーニング不要の枠組みを提案し、視覚言語モデル（VLM）とドメイン固有のレーダー知識を融合することで、物理に根ざした材料同定を実現する。まず、二重パイプラインのアーキテクチャを提案する。光学パイプラインでは、segment anythingモデルとVLMを用いて材料候補提案を生成し、一方で電磁特性評価パイプラインでは、効果的なピーク反射セル面積（PRCA）法と重み付きベクトル合成によりレーダー信号から固有誘電率を抽出する。次に、文脈拡張生成（CAG）戦略を用いて、VLMにレーダー固有の物理知識を与え、電磁パラメータを安定した参照として解釈できるようにする。さらに、確実性（不確実性）推定に基づいてクロスモーダルな競合を解消することで、両センサーの出力をインテリジェントに統合する適応的融合メカニズムを導入する。41種類の多様な日常物体と、視覚的に欺瞞的な4種類の典型的な偽造品を用い、環境を変えながら実世界の120件超の実験でVLMaterialを評価した。実験結果は、VLMaterialが96.08%の認識精度を達成し、クローズドセットの最先端ベンチマークと同等の性能を示しながら、大規模なタスク固有データ収集や学習を不要にすることを明らかにした。