MSGL-Transformer: げっ歯類の社会的行動認識のためのマルチスケール・グローバル-ローカル・トランスフォーマ

概要: 齧歯類の行動の認識は、神経および行動メカニズムを理解するうえで重要である。従来の手作業による採点は時間がかかり、人為的な誤りが起こりやすい。そこで本研究では、姿勢ベースの時系列から齧歯類の社会的行動を認識するためのマルチスケール・グローバル・ローカル・トランスフォーマ（MSGL-Transformer）を提案する。本モデルは、異なる時間スケールにわたる運動ダイナミクスを捉えるためのマルチスケール注意機構を備えた軽量なトランスフォーマエンコーダを用いる。さらに、短距離・中距離・グローバルの注意を並列に扱う複数のブランチを統合することで、複数の時間スケールにおける行動ダイナミクスを明示的に捉える構成とする。また、SE-Networksに着想を得た行動に配慮したモジュレーション（Behavior-Aware Modulation: BAM）ブロックを導入し、注意の前に行動に関連する特徴を強調するために時系列埋め込みを変調する。2つのデータセットで評価を行う：RatSI（5つの行動クラス、12D姿勢入力）およびCalMS21（4つの行動クラス、28D姿勢入力）。RatSIでは、MSGL-Transformerは9つの交差検証スプリットにわたり平均精度75.4%およびF1スコア0.745を達成し、TCN、LSTM、Bi-LSTMを上回る。CalMS21では、87.1%の精度およびF1スコア0.8745を達成し、HSTWFormerに対する+10.7%の改善となり、ST-GCN、MS-G3D、CTR-GCN、STGATを上回る。入力次元とクラス数のみを調整することで、同一のアーキテクチャが両データセットにわたって汎化できる。