STARK: 連続手話認識のキーポイント表現のための時空間アテンション

要旨：
連続手話認識（CSLR）は、聴覚障害者コミュニティの言語を理解するうえで重要な課題です。
現代のキーポイントベースの手法は、通常、時空間エンコーディングに依存します。キーポイント間の空間的相互作用はグラフ畳み込みネットワークやアテンション機構を用いてモデル化され、時間的ダイナミクスは1次元畳み込みネットワークを用いて捉えられます。
しかし、そのような設計はエンコーダとデコーダの両方に多くのパラメータを導入することが多いです。
本論文は、空間的な（キーポイント間）および時間的な（局所ウィンドウ内）の両方でアテンションスコアを計算し、特徴を集約して局所的文脈を考慮した時空間表現を生成する、統一的な時空間アテンションネットワークを提案します。
提案されたエンコーダは、既存の最先端モデルよりおおよそ 70-80 ext% のパラメータを削減しつつ、Phoenix-14Tデータセットにおいてキーポイントベースの手法と同等の性能を達成します。