データ効率の高い mmWave チャネルモデリングのための視覚事前知識の活用

要旨：ミリ波(mmWave)の伝搬を正確にモデリングすることは、リアルタイムのARおよび自律システムにとって不可欠です。微分可能なレイトレーシングは物理に基づく解を提供しますが、過度に網羅的なチャネル測定への依存や、材料特性のための壊れやすく手作業で調整されたシーンモデルに起因する導入の課題に直面しています。VisRFTwin は、視覚由来の材料事前情報を微分可能なレイトレーシングと統合する、スケーラブルでデータ効率の高いデジタルツインフレームワークです。市販のカメラからの多視点画像は、凍結済みの視覚と言語モデルによって処理され、密な意味埋め込みが抽出され、それがシーン表面の誘電率と伝導率の初期推定値へと変換されます。これらの事前情報は Sionna ベースの微分可能なレイトレーサーを初期化し、わずか数十のスパースなチャネル測定のみで、勾配降下法を用いて材料パラメータを急速にキャリブレーションします。一度キャリブレーションされると、視覚特徴と材料パラメータの関連付けが保持され、新しいシナリオへ再度のキャリブレーションなしに迅速に移行できます。オフィス内装、都市部の峡谷、動的な公共空間を含む3つの実世界シナリオでの評価は、VisRFTwin がチャネル測定の必要性を最大で 10 imes削減し、純粋なデータ駆動型ディープラーニング手法より中央値遅延スプレッド誤差を 59%低減することを示しています。