ZAYAN：表形式リモートセンシングデータ向けの分離型コントラスト変換器

Abstract

リモートセンシングおよび環境科学における表形式データから有益な表現を学習することは、異質性、ラベル不足、そして特徴量間の冗長性により困難です。私たちは表形式データのための自己教師あり、特徴量中心のコントラスト学習フレームワークであるZAYAN（Zero-Anchor dYnamic feAture eNcoding）を提案します。ZAYANはサンプルレベルではなく特徴量レベルでコントラスト学習を行うことで、明示的なアンカー選択の必要性とクラスラベルへの依存をなくし、冗長性が最小化された、解きほぐされた（disentangled）埋め込み空間を促します。このフレームワークには2つのモジュールがあります。ZAYAN-CLは、動的摂動とマスキングを用いたゼロアンカーのコントラスト目的により特徴量埋め込みを事前学習し、ZAYAN-Tはこれらの埋め込みを条件として下流の分類のために用いるTransformerです。8つのデータセット、すなわち6つのリモートセンシングの表形式ベンチマークと、衛星およびGISプロダクトから得られたリモートセンシング駆動の洪水予測テーブル2つにわたって、ZAYANは表形式のディープラーニングのベースラインに対して、精度、頑健性、一般化のいずれでも優れた性能を達成し、ラベル不足および分布シフト下でも一貫した改善が見られます。これらの結果は、特徴量レベルでのコントラスト学習と動的な特徴量エンコーディングが、表形式のセンシングデータから学習するための効果的なレシピであることを示唆しています。