微調整だけでは不十分：エンドツーエンド自動運転における協調的模倣学習と強化学習のための並列フレームワーク

要旨: エンドツーエンドの自律運転は通常、模倣学習（IL）に基づいて構築されますが、その性能は人間によるデモンストレーションの品質によって制約されます。この制限を克服するために、近年の手法では、逐次的なファインチューニングを通じて強化学習（RL）を取り入れています。しかし、このようなパラダイムはなお最適ではありません。逐次RLのファインチューニングではポリシードリフトが生じ得るほか、事前学習済みのILポリシーに依存するため、性能が頭打ちになることがしばしばあります。これらの問題に対処するため、我々はPaIR-Driveを提案します。PaIR-Driveは、エンドツーエンド自律運転における、協調的な模倣学習と強化学習のための一般的な並列フレームワークです。学習中、PaIR-DriveはILとRLを2つの並列ブランチに分離し、衝突のない学習目的によって、完全に協調的な最適化を可能にします。この設計により、新しいILポリシーを適用する際にRLを再学習する必要がなくなります。推論中は、RLがILポリシーを活用して最終プランをさらに最適化し、ILの事前知識を超える性能を実現します。さらに、RLブランチにおける相対的ポリシー最適化（GRPO）をツリー構造化した軌道ニューラルサンプラーとして導入し、探索能力を高めます。NAVSIMv1およびv2のベンチマークに関する広範な分析により、PaIR-DriveがTransfuserおよびDiffusionDriveのILベースラインに基づき、競争力のある91.2 PDMSおよび87.9 EPDMSの性能を達成することが示されます。PaIR-Driveは既存のRLファインチューニング手法を一貫して上回り、さらには人間の専門家による不最適な振る舞いを修正できる可能性さえあります。質的結果も、PaIR-Driveが効果的に探索し、高品質な軌道を生成できることを裏付けています。