パッチ・プルーニングのためのレニィ注意エントロピー

Abstract

トランスフォーマーは自己注意によってトークン間の長距離依存を捉えるため、視覚と言語の両分野において強力なベースラインとなっています。しかし、自己注意の計算コストはトークン数に対して二次的に増大します。パッチプルーニングは、パッチごとの重要度を見積もり、冗長なパッチを取り除くことでこのコストを緩和します。プルーニングに有益なパッチを特定するために、注意分布のシャノンエントロピーに基づく基準を導入します。選択的かつ集中した注意を受ける低エントロピーのパッチは重要なものとして保持し、一方で、多くの位置に注意が分散する高エントロピーのパッチは冗長なものとして扱います。さらに、この基準をシャノンからR\'enyiエントロピーへ拡張し、鋭い注意のピークを強調することで、タスクの必要性や計算上の制約に適応するプルーニング戦略を支援します。パッチ選択が重要となるきめ細かな画像認識の実験では、本手法は精度を維持しつつ計算量を削減しました。加えて、R\'enyiエントロピー指標によってプルーニング方針を調整することでさらなる改善が得られ、精度と計算量のトレードオフが向上します。