参照画像セグメンテーションのためのチャネル注意誘導クロスモーダル知識蒸留

要旨: 指示画像セグメンテーション（RIS）では、言語による説明に従って画像内の対象領域を正確にセグメント化することが必要であり、これは視覚と語言を統合するクロスモーダルなタスクである。既存のRIS手法は、性能を向上させるために大規模な視覚・語言のエンコーディングモデルを用いることが一般的であるが、その莫大なパラメータ規模は、計算資源が限られた状況での展開を大きく制限している。本論文では、この問題を解決するために、チャネル注意に導かれるクロスモーダル知識蒸留手法を提案する。この手法は、教師ネットワークによって学習された、視覚と語言の間の高次のきめ細かな相関だけでなく、各チャネルによって表現される意味要素間の相関も、生徒ネットワークへと転送する。従来のピクセル単位の関係蒸留と比較して、本手法は生徒が教師の知識を学習できるだけでなく、その独立した学習能力の一部も保持するため、学習バイアスの転移を緩和する。2つの公開データセットにおける実験結果により、提案する蒸留手法は推論時に追加のパラメータを導入せず、生徒モデルに対して顕著な性能向上を達成できることが示された。