注視（Gaze）正則化されたVLMによる自己視点行動理解

Abstract

注視（フィクセーション）やサッケードを含む視線推定は、人間の意図や将来の行動に関する重要な洞察を提供する。本研究では、エゴセンタリックな行動理解のために、視線を正則化したフレームワークを導入し、視覚言語モデル（VLM）を強化する。視覚データのみに依存し、視線情報を見落とす既存手法とは異なり、本アプローチは学習の際にVLMのアーキテクチャへ直接視線情報を組み込む。視線に基づくクエリを生成することで、モデルは視線によって強調された領域へ動的に焦点を合わせ、さらに視線正則化メカニズムにより、モデルの注意が人間の注意のパターンと一致することを保証する。視線を効果的にVLMへ統合する方法をよりよく理解するために、視線データを取り込むためのさまざまな戦略を検討する広範な実験を行った。これらの新たな工夫により、詳細な行動記述を伴って将来の出来事を予測できるようになる。実験結果は、視線データを活用しないベースラインモデルと比べて意味スコアが約13%改善することを示しており、本アプローチの有効性が明らかになった。本研究は、VLMにおける人間の視線の活用のための基盤を確立し、正確で頑健な将来出来事予測を必要とするアプリケーションにおいて、その予測能力を大幅に高める。