重要なものにラベルを：モダリティのバランスと難度を考慮したマルチモーダル能動学習

Abstract

マルチモーダル学習は、画像、テキスト、音声などの異なるモダリティから補完的な情報を統合してモデルの性能を向上させますが、その成功はコストのかかる大量のラベル付きデータに依存しています。アクティブラーニング（AL）は、情報量の多いサンプルを選択的に注釈付けすることで、この課題を緩和します。マルチモーダルの設定では、多くの手法が暗黙的にモダリティの重要度はラウンド間で安定しており、選択ルールを融合（fusion）段階で固定したままにすると仮定しています。しかし、相対的なモダリティの価値やインスタンスの難しさは学習が進むにつれて変化するため、この仮定は、マルチモーダル学習の動的な性質に対して鈍感になってしまいます。 この問題に対処するために、我々はモダリティのバランスと難度を考慮したマルチモーダル・アクティブラーニングのための強化学習フレームワークであるRL-MBAを提案します。RL-MBAはサンプル選択をマルコフ決定過程（Markov Decision Process）としてモデル化し、ポリシーがモダリティの寄与、不確実性、そして多様性に適応するようにします。そして、報酬は精度の向上とバランスを促します。この適応性を駆動する主要な2つの構成要素は次の通りです：（1）適応的モダリティ寄与バランシング（AMCB）。強化フィードバックを通じてモダリティ重みを動的に調整します。（2）難度考慮型ポリシー調整のためのエビデンシャル融合（EFDA）。不確実性に基づくエビデンシャル融合によってサンプルの難しさを推定し、情報量の多いサンプルを優先します。Food101、KineticsSound、VGGSoundでの実験により、RL-MBAが強力なベースラインを一貫して上回り、ラベル付け予算が限られた条件下でも分類精度とモダリティの公平性の両方が改善されることが示されます。