統合されたきめ細かな車両分類と自動ナンバープレート認識に向けて

Abstract

警戒監視画像から車両情報を抽出することは、交通監視や犯罪捜査などのアプリケーションを可能にするインテリジェント交通システムにとって不可欠です。自動ナンバープレート認識（ALPR）は広く利用されていますが、きめ細かな車両分類（FGVC）は、色、メーカー、モデル、車種といった属性に基づいて車両を識別することで、ALPRを補完するアプローチを提供します。この分野には進展がありますが、既存研究はしばしば十分に制御された条件を前提としており、扱う属性が限られているうえ、ALPRとのFGVC統合を見落としています。これらのギャップに対処するために、本研究ではUFPR-VeSVを導入します。これは、13色、26メーカー、136モデル、14タイプに対する注釈を含む、16,297台のユニークな車両に対応する24,945枚の画像から成るデータセットです。データセットはパラナ州（ブラジル）の軍警察（Military Police of Paran\'a）の監視システムから収集されており、部分的な遮蔽、夜間の赤外線撮像、照明条件のばらつきなど、多様な実世界の状況を捉えています。すべてのFGVC注釈はナンバープレート情報を用いて検証されており、テキスト注釈と角（コーナー）注釈もあわせて提供されます。確立されたデータセットとの定性的および定量的な比較により、本データセットが困難であることが確認されました。さらに、5つの深層学習モデルを用いたベンチマークによっても検証され、複数色の車両への対応、赤外線画像の扱い、共通のプラットフォームを共有する車両モデル間の識別といった具体的な課題が明らかになりました。加えて、ナンバープレート認識には2つの光学文字認識（OCR）モデルを適用し、FGVCとALPRの共同利用も検討します。結果は、これらの補完的なタスクを実世界のアプリケーションに統合できる可能性を示しています。UFPR-VeSVデータセットは以下で公開されています：https://github.com/Lima001/UFPR-VeSV-Dataset.