AutoVDC：ビジョン・ランゲージモデルによる自動ビジョンデータクリーニング

Abstract

自動運転システムの訓練には、堅牢な性能を達成するために、精密なアノテーションを伴う大規模なデータセットが必要です。人手によるアノテーションは不完全さを免れず、高品質なデータセットを作るには複数回の反復がしばしば必要になります。しかし、大規模データセットを手動でレビューすることは、手間がかかり費用も高くつきます。本論文では、自動視覚データクリーニング（AutoVDC: Automated Vision Data Cleaning）フレームワークを提案し、視覚データセットにおける誤ったアノテーションを自動的に特定するために、視覚言語モデル（Vision-Language Models: VLMs）の利用を調査します。これにより、ユーザはこれらの誤りを除去し、データ品質を向上させることが可能になります。我々は、自動運転のための物体検出ベンチマークを含む KITTI および nuImages データセットを用いて提案手法を検証します。AutoVDC の有効性を確かめるために、意図的に誤ったアノテーションを注入したデータセットの派生版を作成し、我々の手法による誤り検出率を観察します。さらに、異なる VLM を用いた場合の検出率を比較し、提案パイプラインに対する VLM のファインチューニングの影響も検討します。結果は、本手法が誤り検出とデータクリーニングの実験において高い性能を示すことを裏付けており、自動運転における大規模な量産データセットの信頼性と精度を大幅に改善できる可能性を示しています。