歪み（ディストーション）に頑健な表現学習のためのビジョントランスフォーマーの蒸留

要旨: 自己教師あり学習は、クリーンなデータから視覚的表現を学習する分野で目覚ましい成功を収めてきましたが、クリーンな観測が乏しい場合、あるいはそもそも入手できない場合には依然として困難が残っています。本論文では、事前学習済みの視覚モデルを活用して歪みに頑健な表現を学習でき、そこから歪んだ観測に対して動作する下流タスクに効果的に適用できることを示します。具体的には、教師と学生の両方を同一の事前学習済みVision Transformerから初期化し、各画像に対して異なる見え方を与える非対称な知識蒸留の枠組みを提案します。教師はクリーン画像を処理し、学生はそれらの歪んだバージョンを見ます。グローバル埋め込み、パッチレベルの特徴、注意（アテンション）マップを整合させる多段階の蒸留を導入し、学生がクリーンデータに直接アクセスすることなく、クリーン画像の表現を近似できることを示します。我々の手法を、複数のデータセットにまたがる画像分類タスク、およびさまざまな歪みのもとで評価したところ、同じ量の人間による監督に対して一貫して既存の代替手法よりも優れた性能を示しました。