低品質データでのマルチモーダル学習：Conformal Predictive Self-Calibration

Abstract

マルチモーダル学習はしばしば、低品質なデータという課題に取り組む必要があり、その主な現れとして2つの側面があります。すなわち、モダリティの不均衡と、ノイズによる破損です。これらの問題はしばしば個別に研究されてきましたが、本論文では、学習中における個々のモダリティとインスタンスの信頼性に対する予測上の不確実性が共通の根本原因になっていることを主張します。本論文では、共形予測（conformal prediction）を活用して、モデルが学習のその場で自己主導的に較正できるようにする統一フレームワーク Conformal Predictive Self-Calibration（CPSC）を提案します。提案するCPSCの中核は、新しい自己較正型の学習ループにあり、これが2つの主要モジュールをシームレスに統合します。（1）Representation Self-Calibration（表現自己較正）。これは単一モダリティの特徴を構成要素へ分解し、共形予測器によって同定された最も頑健なものを選択的に融合することで、特徴の耐性を高めます。（2）Gradient Self-Calibration（勾配自己較正）。これは、インスタンスごとの信頼性スコアに基づいて、逆伝播中の勾配の流れを再較正し、最適化をより信頼できる方向へと導きます。さらに、共形予測器のための自己更新戦略も考案し、学習プロセス全体を通じてシステム全体が一貫して共進化することを保証します。不均衡およびノイズの両設定において、6つのベンチマークデータセットで行った広範な実験により、提案するCPSCフレームワークが既存の最先端手法を一貫して上回ることを示します。コードは https://github.com/XunCHN/CPSC で公開しています。