DGHMesh：人のメッシュ再構成向けの大規模デュアルレーダーmmWaveデータセットと汎化重視ベンチマーク

概要: ミリ波（mmWave）レーダーは、非接触で、プライバシーを保護し、かつ堅牢な人間センシングに大きな可能性を示しているものの、既存のmmWaveベースのヒトメッシュ再構成（HMR）研究は、構成変化に対する汎化解析のためのベンチマークや、異なるアルゴリズムを公正に比較するための条件が不足していることにより、依然として限られています。この制約に対処するため、我々はDGHMeshを提案します。これはHMRのための、大規模なデュアルレーダーmmWaveデータセットであり、汎化に焦点を当てたベンチマークです。DGHMeshには、15名の被験者が8つのアクションを行うデータが含まれており、FMCWレーダー、SFCWレーダー、RGB画像から360,000枚の同期フレームを収集し、さらに高精度な3D HMRのアノテーションを提供します。加えて、このデータセットは、両方のレーダーモダリティから同期済みの生I/Qデータと、レーダーの空間位置の正確に較正された情報も提供します。本ベンチマークは、人の位置シフト、人の向きのシフト、サブアレイサイズの変動、そして被験者間の設定といった、多様な計測構成のもとでHMR手法を評価するよう設計されています。DGHMeshに基づき、我々はmmPTMも提案します。これは、HMRのために点群とイメージングチューブを共同で活用する、クエリベースのマルチレーダー・フュージョンフレームワークです。異なる設定のもとで代表的なベースラインに対して広範な実験を行いました。その結果、mmPTMは複数のサブベンチマークにおいて一貫して優れた精度と競争力のある汎化能力を達成することが示され、多レーダー・フュージョンの有効性、ならびに提案データセットおよびベンチマークのmmWaveベースHMR研究における実用的価値が裏付けられました。DGHMeshおよびmmPTMは https://github.com/SPIresearch/DGHMesh で公開されています。（完全なベンチマークとコードは論文公開後にリリースされます）