TENGベースの手話検出システム向けのトライボエレクトリック・ナノジェネレータに関するMLモデルの開発

要旨: 手話認識（SLR）は、聴覚障害のあるコミュニティと健聴のコミュニティの間の意思疎通ギャップを埋めるために重要である。視覚ベースのアプローチは、遮蔽、計算コスト、物理的制約の影響を受けやすい。本研究では、独自のトライボエレクトリック・ナノジェネレータ（TENG）ベースのセンサ手袋に関して、機械学習（ML）モデルと深層学習モデルの比較を提示する。5つの屈曲センサから得られる多変量時系列データを用い、従来のMLアルゴリズム、フィードフォワードニューラルネットワーク、LSTMベースの時間的モデル、ならびに11の手話クラス（数字1-5、文字A-F）に対するマルチセンサMFCC CNN-LSTMアーキテクチャをベンチマークする。提案するMFCC CNN-LSTMアーキテクチャは、各センサの周波数領域の特徴を、融合の前に独立した畳み込みブランチを通して処理する。精度93.33%、適合率95.56%を達成し、最良のMLアルゴリズム（ランダムフォレスト: 70.38%）に比べて23ポイントの改善となる。アブレーション研究により、50タイムステップのウィンドウは時間的文脈と学習データ量の間のトレードオフをもたらし、100タイムステップのウィンドウでの58.06%に対して84.13%の精度が得られることが示される。MFCCの特徴抽出は、時間的変動を実行速度に不変なスペクトル表現へと写像し、データ拡張手法（時間ワーピング、ノイズ注入）は汎化に不可欠である。その結果、周波数領域の特徴表現と並列なマルチセンサ処理アーキテクチャの組み合わせが、古典的アルゴリズムおよびウェアラブルセンサに基づくジェスチャ認識における時系列（時間領域）深層学習よりも向上をもたらすことが示された。これは支援技術の開発に役立つ。