グループ検出によるフィードバック精緻化を用いたエンドツーエンド共有注意推定

arXiv cs.CV / 2026/4/3

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、画像において焦点となるグループを同時に検出し、共有注意（SA）を推定するエンドツーエンド手法を提案する。これにより、従来のSAアプローチが「単一のSA点」を仮定する、または実際のグループ所属を無視するといった制限に対処する。
2段階のパイプラインを用いる。まず、個々の注視による注意ヒートマップに、推定したグループ所属スカラーを組み合わせてSAヒートマップを生成し、その後、初期のSAヒートマップに基づいてグループ所属を精緻化する。
精緻化ステップは、検出されたグループ所属と得られるSAヒートマップとの整合性を高め、より正確な最終的なSA予測を実現することを目的としている。
実験では、提案手法がグループ検出とSA推定の両方において既存手法を上回ることが報告されており、アブレーション／分析により各構成要素の寄与が裏付けられる。
著者らは、関連するGitHubリポジトリを通じてコードを提供しており、再現やさらなる実験が可能である。

要旨: 本論文は、グループ検出を介したエンドツーエンドの共有注意推定手法を提案する。これまでの多くの手法は、共有注意（SA）について、実際にそれを見つめている人々のグループを検出することなく推定しているか、あるいは与えられた画像内に単一のSA点が存在すると仮定している。これらの問題は、実際におけるSA検出の適用可能性を制限し、性能にも影響を与える。そこで本論文では、二段階のプロセスによって、同時にグループ検出と共有注意推定を達成することを提案する: (i) グループ推論において推定された、個々の視線注意ヒートマップとグループ所属スカラーに基づいて、SAヒートマップを生成すること; (ii) 初期のグループ所属を、初期のSAヒートマップを考慮できるように改良し、最終的にSAヒートマップを予測すること。実験により、本手法がグループ検出および共有注意推定の両方において他の手法よりも優れていることが示される。追加の分析により、提案コンポーネントの有効性が検証される。コード: https://github.com/chihina/sagd-CVPRW2026。