ラベル伝播を用いた半教師あり物体セグメンテーションによる効率的な画像アノテーション

Abstract

信頼できる物体認識は、汎用サービスロボットにとって必要不可欠です。オープンワードの検出器は、限られたいくつかのクラスを超えて一般化することが難しく、物体検出器の完全教師あり学習は、時間を要する注釈が必要です。私たちは、家庭内オブジェクトのセグメンテーションに対する半教師ありのラベル伝播アプローチを提示します。セグメント提案器はクラス非依存のマスクを生成し、Hopfieldネットワークのアンサンブルは、補完的な基盤モデルの埋め込み空間（CLIP、ViT、Theia）において代表的な埋め込みを学習することでラベルを割り当てます。私たちのアプローチは、限られた注釈オーバーヘッドで50の物体クラスまでスケールでき、準備時間が厳しく制約されるRoboCup@Homeの設定においてデータの60%を自動的にラベル付けできます。データセットとコードは https://github.com/ais-bonn/label_propagation で公開されています。