最小限の翻訳ペアで手話モデルの言語的特徴をターゲット分析
arXiv cs.CL / 2026/5/1
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- この論文は、ASL-MTP（American Sign Language Minimal Translation Pairs）という新しいベンチマークデータセットを導入し、最小限の翻訳ペアを用いて手話モデルが特定の言語現象をどれだけ捉えられているかを検証することを目的としています。
- ASL-MTPを使って、著者らは学習時・推論時の両方で入力の手がかりをアブレーション（除去）しながら、最先端のASL（American Sign Language）から英語への翻訳モデルをターゲットに分析します。
- 結果として、多くの言語現象でモデルは偶然より高い性能を示す一方、手作業（手指）に関わる「マニュアル」な手がかりへの依存が強いことが分かります。
- さらに、上半身や顔の表情などの重要な「ノンマニュアル」な手がかりを見落としたり、十分に活用できていない場合が多いことが報告されています。
- 全体として、このベンチマークと分析手法は、翻訳・認識の汎用指標を超えて、手話モデルのマルチモーダル理解をより精密に評価する道を示しています。
