Point-VLMにおける3D理解の強化：幾何学的リワードのクレジット割当による手法

Abstract

Point-Vision-Language Models は、実世界で行動するエージェントに対して、実行可能な空間推論を可能にすることを約束します。しかし多くの場合、予測された3D構造が観測された2Dの現実と矛盾する「幾何学的幻覚」に陥ってしまいます。本研究では、この失敗の主因を表現のボトルネックではなく、強化学習における構造的ミスアラインメントであることを特定します。そこでは、疎な幾何学トークンが、ノイズを含み、シーケンス全体にブロードキャストされた報酬によってかき消されてしまいます。この因果的な希釈を解決するために、我々は Geometric Reward Credit Assignment（幾何報酬のクレジット割当）を提案します。この枠組みは、ホリスティックな監督を分野固有の信号へと分解し、それらを責任を持つトークン区間にのみルーティングします。これにより、曖昧なフィードバックを正確な勾配更新へと変換し、汎用的な方策最適化を、狙いを定めた構造整合へと実効的に変えます。さらに、Reprojection-Consistency（再投影整合）項によって物理的制約を内在化し、モダリティ横断の検証器として機能して、物理的に不可能な幾何を罰します。ShapeNetCore から導出した較正済みベンチマークで検証したところ、提案手法は 3D KPA を 0.64 から 0.93 へと引き上げ、3D 境界ボックスの intersection over union を 0.686 に増加させ、再投影整合スコアを 0.852 へと高めることで、信頼性のギャップを埋めます。重要なのは、堅牢な2Dローカライゼーション性能を維持しながらこれらの改善が達成されたことであり、もっともらしいテキスト出力から、物理的に検証可能な空間予測へ向けた意義のある一歩を示しています。