私が指しているものは見えますか？ ジェスチャーを用いた一人称視点動画の質問応答

要旨：ユーザーの指差ジェスチャーに基づく質問の理解と回答は、次世代の自己視点AIアシスタントにとって不可欠です。しかし、現在のマルチモーダル大規模言語モデル（MLLM）は、ジェスチャー豊富なデータの不足と自己視点の動画から微細な指差意図を推測する能力の限界のため、こうしたタスクに苦戦しています。この課題に対処するため、ジェスチャーを根拠とした自己視点の質問応答のデータセットとベンチマークである EgoPointVQA を紹介します。複数の指示推論タスクに跨る 4000 の合成動画と 400 の実世界動画で構成されています。これを基盤として、3D 手のキーポイントから派生したトークンを市販の再構成モデルを用いてエンコードし、それらをモデル入力と組み合わせて、指差の意図を解釈するための明示的な空間的・時間的文脈を提供する Hand Intent Tokens（HINT）を提案します。私たちのモデルは、異なるバックボーンやモデルサイズにおいて他より優れていることを示します。特に、HINT-14B は 6 タスクの平均で 68.1% の精度を達成し、最先端の InternVL3-14B を 6.6% 上回ります。オープンリサーチをさらに促進するために、コード、モデル、データセットを公開します。プロジェクトページ: https://yuuraa.github.io/papers/choi2026egovqa