混雑インスタンスセグメンテーションにおける強化ポイント選択を伴う高密度ポイント・トゥ・マスク最適化

要旨: 群衆のインスタンスセグメンテーションは、監視や交通を含む幅広い応用を持つ重要な課題である。現在、群衆データセットでは点ラベルが一般的である一方、領域ラベル（例: ボックス）は稀でかつ不正確である。セグメンテーションによって得られるマスクは、領域ラベルの精度を向上させるとともに、個々の位置座標と群衆密度マップとの対応関係を解決するのに役立つ。しかし、SAM のような現在よく使われる大規模基盤モデルをそのまま密集群衆に適用しても、理想的な結果は得られない。そこで本研究では、まず Dense Point-to-Mask Optimization（DPMO）を提案する。これは、SAM と Nearest Neighbor Exclusive Circle（NNEC）の制約を統合し、点アノテーションから密集したインスタンスセグメンテーションを生成する。DPMO と手動による修正により、既存の点アノテーションから従来型の群衆データセット向けのマスクアノテーションを作成する。次に、密集群衆におけるインスタンスセグメンテーションを予測するために、Group Relative Policy Optimization（GRPO）で学習された Reinforced Point Selection（RPS）フレームワークを提案する。この枠組みは、初期の点予測に対するサンプリングから、最も良い予測点を選択する。大規模な実験を通じて、ShanghaiTech、UCF-QNRF、JHU-CROWD++、および NWPU-Crowd の各データセットにおいて、最先端の群衆インスタンスセグメンテーション性能を達成する。さらに、複数のモデルにわたって計数性能を向上させる、マスクにより教師ありで設計された新しい損失関数を考案し、計数精度を高めるうえでマスクアノテーションが果たす重要な役割を示す。