Purify-then-Align：ノイズの多いマルチモーダル・ティーチャーからの知識蒸留による、モダリティ欠損下での頑健な人間センシングへ

概要: 堅牢なマルチモーダルの人間センシングは、「モダリティの欠落」という重要な課題を克服しなければなりません。主要な障壁は、異種データ間の表現ギャップと、低品質モダリティによる汚染効果の2つです。これらの障壁は因果的に結びついており、汚染によって導入される破損が、表現の不一致（ギャップ）を縮小することを根本的に妨げるためです。本論文では、この因果的依存を、メタラーニングと知識拡散の相乗的統合によって解決する新しい「Purify-then-Align（浄化してから整合）」フレームワークであるPTAを提案します。知識源を浄化するために、PTAはまずメタラーニングに基づく重み付け機構を用い、ノイズがあり寄与が低いモダリティの影響を動的に下げることを学習します。つづいて、異なるモダリティを整合させるために、PTAは拡散ベースの知識蒸留パラダイムを導入します。そこでは、この浄化された合意から形成された情報量の多いクリーンな教師が、各学生モダリティの特徴を洗練（リファイン）します。「Purify-then-Align」という戦略の最終的な利得は、クロスモーダル知識を注入した非常に強力な単一モダリティエンコーダの創出です。大規模データセットであるMM-FiおよびXRF55に対する、顕著な表現ギャップと汚染効果の下での包括的な実験により、PTAが最先端の性能を達成し、さまざまな欠落モダリティの状況において単一モダリティモデルの頑健性を大幅に向上させることが示されます。