LA-Pose：潜在アクションの事前学習がもたらすポーズ推定

要旨: 本論文は、自己教師あり事前学習の観点からカメラ姿勢推定を再検討し、3Dアノテーションを用いる現在の完全教師あり学習の潮流に対する、スケーラブルな代替手段としての逆ダイナミクス事前学習に焦点を当てる。具体的には、大規模な運転動画から得られるGenieに類似した、潜在行動表現を学習するために、逆ダイナミクスモデルと順ダイナミクスモデルを用いる。我々の発想は単純であるが効果的だ。既存手法では、潜在行動をその本来の能力のまま用いる。すなわち、ワールドモデルへの行動条件付けとして、あるいはポリシーネットワークにおけるロボット行動パラメータの代理（プロキシ）として用いる。本手法はLA-Poseと名付けられ、潜在行動特徴をカメラ姿勢推定器への入力として再利用し、限られた高品質な3Dアノテーションの集合で微調整する。この定式化により、フィードフォワードの効率性を維持しつつ、正確で汎用性の高い姿勢予測が可能になる。運転ベンチマークに関する大規模な実験により、LA-Poseはラベル付きデータを桁違いに少なくしながら、最先端手法と競合するだけでなく、さらに優れた性能を達成することが示される。具体的には、WaymoおよびPandaSetのベンチマークにおいて、LA-Poseは最近のフィードフォワード手法よりも姿勢精度で10%超高い。筆者らの知る限り、本研究は姿勢推定に対する逆ダイナミクスの自己教師あり学習の力を初めて実証するものである。