対照学習における増分情報エントロピーの最大化

要旨: コントラスト学習は自己教師付き表現学習において顕著な成功を収めており、しばしば相互情報量の最大化といった情報理論的目的に導かれている。静的なデータ拡張と厳格な不変性制約の限界に動機づけられ、IE-CL（Incremental-Entropy Contrastive Learning）を提案します。これは、意味的一貫性を保ちながら、拡張ビュー間のエントロピー増加を明示的に最適化するフレームワークです。私たちの理論的枠組みは、エンコーダを情報ボトルネックとして同定することにより課題を再定義し、エントロピー生成のための学習可能な変換とその保持のためのエンコーダ正則化の二つの要素を共同で最適化することを提案します。CIFAR-10/100、STL-10、ImageNet を用いた実験は、IE-CL が小さなバッチ設定の下で一貫して性能を向上させることを示しています。さらに、私たちのコアモジュールは既存のフレームワークにシームレスに統合できます。本研究は理論原理と実践を結びつけ、コントラスト学習における新たな視点を提供します。