PointRFT：ポイントクラウドの少数ショット学習に向けた明示的強化（Reinforcement）ファインチューニング

概要: 点群における空間ダイナミクスとセマンティクスの理解は、包括的な3D理解のための基礎です。Group Relative Policy Optimization（GRPO）などの強化学習アルゴリズムは、戦略的な報酬設計によって推論能力を促すことで、大規模言語モデルにおいて最近目覚ましいブレークスルーを達成してきましたが、その可能性は3D知覚の領域ではほとんど未踏のままです。これは自然に次の重要な問いを導きます。すなわち、RLベースの手法は3D点群のファインチューニングを効果的に強化できるのか、ということです。本論文では、点群表現学習に特化した初めての強化学習ファインチューニングの枠組みであるPointRFTを提案します。私たちは3つの代表的な3D基盤モデルを選び、学習を安定化し、分布シフトを緩和するために、専用の精度報酬関数と分散報酬関数を設計します。異なる学習パラダイムを比較する包括的な少数ショット分類実験を通じて、PointRFTが多様なベンチマークにおいて一貫して、標準的な教師ありファインチューニング（SFT）を上回ることを示します。さらに、ハイブリッドなPretraining-SFT-RFTパラダイムに自然に組み込むことで、点群基盤モデルの表現能力が大きく解き放たれ、特にデータが乏しい状況において最先端の性能を達成します。