ActivityNarrated：ウェアラブルな人間の行動理解のための、オープンエンドなナラティブ（物語）パラダイム

Abstract

ウェアラブルHARは着実に進歩してきましたが、ほとんどの成果は依然としてクローズドセット分類に依存しており、実世界での利用を制限しています。実際の人間の活動は、開放的であり、台本化されておらず、個人に最適化されていて、しばしば合成的（複合的）であり、固定されたクラスとしてではなく、物語（ナラティブ）として展開されます。本研究では、このギャップに対処するのに、単にデータセットやモデルをスケールするだけでは不十分であると主張します。必要なのは、ウェアラブルHARをどのように定式化し、どのように教師あり学習し、どのように評価するかについての根本的な転換です。本研究は、ウェアラブルセンサーデータを自然言語による記述に対応付けることで、オープンボキャブラリ設定において開放的な活動の物語をモデル化する方法を示します。提案フレームワークには3つの中核となる要素があります。第一に、自然主義的なデータ収集・注釈のパイプラインを導入します。これは、多位置のウェアラブルセンシングと、進行中の行動を自由形式で、かつ時間整合させた物語的記述を組み合わせるもので、事前に定義された語彙がなくても、活動の意味論が自然に立ち上がるようにします。第二に、センサーデータと言語の間の意味的整合性を測定する検索（リトリーバル）ベースの評価フレームワークを定義します。これにより、固定されたクラスなしでの原理的な評価を可能にしつつ、クローズドセット分類も特別な場合として包含できます。第三に、可変長のセンサーストリームおよび異種のセンサ配置に対して、センサからテキストへの推論を支える、言語条件付け学習アーキテクチャを提示します。実験の結果、固定ラベルの目的で学習したモデルは、実世界の変動に対して急激に性能が劣化する一方で、オープンボキャブラリのセンサ・言語整合に基づく手法は、頑健で意味的に根拠のある表現を生み出すことが示されました。この整合が学習されると、クローズドセットの活動認識は単純な下流タスクになります。参加者をまたぐ評価では、本手法はマクロF1で65.3%を達成し、強力なクローズドセットHARベースラインの31〜34%と比較して高い結果となりました。これらの結果は、開放的な物語のモデリングを、実世界におけるウェアラブルHARのための実用的で効果的な基盤として確立するものです。