連続したサイン列における英国手話の指文字認識

概要: 指文字は英国手話（BSL）の重要な構成要素で、固有名詞、技術用語、確立された語彙標識がない語を綴るために用いられる。指文字認識は、手話の速い速度と母語話者による一般的な文字省略のために困難である一方、既存のBSL指文字データセットは規模が小さいか、時間的・文字的に不正確である。本研究では、反復的なアノテーション枠組みを用いて構築された新しい大規模BSL指文字データセットFS23Kを導入する。加えて、両手の相互作用と口の動きの手掛かりを明示的に考慮した指文字認識モデルを提案する。その結果、精緻化された注釈により、指文字認識の現状の最先端と比較して文字エラー率（CER）を半分に抑える。これらの知見は、我々の手法の有効性を示すとともに、手話理解の今後の研究やスケーラブルで自動化された注釈パイプラインを支援する潜在能力を強調している。プロジェクトページは https://taeinkwon.com/projects/fs23k/ にあります。