OASIC: 隠蔽非依存かつ重症度に基づく分類

要旨: オブジェクトの重度な遮蔽は、コンピュータビジョンにおける大きな課題です。本研究では、（1）可視情報の喪失と、（2）遮蔽物によって引き起こされる注意をそらすパターン、という2つの根本原因があることを示します。提案手法は、これら2つの原因の両方に同時に対処します。まず、テスト時に遮蔽パターンをマスキングすることで、注意をそらすパターンを除去します。このマスキングは、対象物に関する視覚的異常という観点から遮蔽を扱うことで、遮蔽の種類に依存せずに行えます。次に、視覚的な詳細が不足する問題に対処するために、訓練中はさまざまな遮蔽の程度に対して、対象物のランダムな部分をマスキングするという標準的な手順に従います。その結果、（a）テスト時に遮蔽の程度（すなわち深刻度）を推定することが可能であり、そして（b）特定の遮蔽の程度に最適化されたモデルは、テスト時に同程度に対しても最も良く機能することを見出します。これら2つの洞察を組み合わせることで、重症度に基づいた分類モデルであるOASIC（Occlusion Agnostic Severity Informed Classification）を提案します。テスト画像の遮蔽の重症度を推定し、遮蔽物をマスクし、遮蔽の程度に最適化されたモデルを選択します。この戦略は、遮蔽の深刻度のどの範囲で最適化された単一モデルよりも、より良い性能を示します。実験により、グレイのマスキングと適応的なモデル選択を組み合わせることで、遮蔽画像に対する標準的な訓練より ext{AUC}_ ext{occ}を+18.5、遮蔽なし画像での微調整より+23.7改善できることが示されています。