ARTA：効率的な高密度特徴抽出のための適応的な混合解像度トークン割り当て

Abstract

本稿では、効率的な密な特徴抽出のための、混合解像度の粗視度（coarse）から精密（fine）への段階的なビジョントランスフォーマであるARTAを提案する。高解像度（精密）トークンから開始するモデルとは異なり、ARTAは低解像度（粗視度）トークンから開始し、軽量なアロケータを用いて、どの領域がより精密なトークンを必要とするかを予測する。アロケータは反復的に意味（クラス）の境界スコアを予測し、低い閾値を上回るパッチに追加のトークンを割り当てる。これにより、境界付近にトークン密度を集中させつつ、弱い境界の証拠に対する高い感度を維持する。こうした狙いを定めた割当ては、トークンが複数のクラスの混合ではなく、単一の意味クラスを表すことを促す。混合解像度の注意機構により、粗視度トークンと精密トークンの相互作用が可能となり、意味的に複雑な領域に計算を集中させながら、均質な領域での冗長な処理を回避する。実験の結果、ARTAはADE20KおよびCOCO-Stuffにおいて、はるかに少ないFLOPsで最先端の結果を達成し、Cityscapesでも計算量を大幅に抑えつつ競争力のある性能を示す。例えば、ARTA-Baseは、約1億パラメータのクラスでADE20Kに対し54.6 mIoUを達成し、同等のバックボーンと比べてより少ないFLOPsとより少ないメモリを使用する。